9 月 21 号周六，我参加了 PyCon China 2019 上海站，这是每年一届的 Python 中国开发者大会。 今年的上海站比往年的阵容扩大很多，「流畅的 Python」作者、Flask 作者及核心维护者、PyCharm 开发者等等大佬都登台演讲。 本文将总结一下我观看的演讲，但并不会深入和完整，如有感兴趣的主题，可以等待官方后续放出的视频，我的公众号到时候也会转载。 Python 的永恒之美 「流畅的 Python」作者 Luciano Ramalho，作为首场演讲的嘉宾，他的讲题围绕着 Python 之禅（PEP 20: The Zen of Python），结合了国际象棋

上一篇「又一家数据公司被查，爬虫到底做错了什么？」反响强烈，虽然我这是新号，但还是获得了不少公众号的转发，借机也结识了很多业内大佬，在此感谢大家的抬爱！ 同时也有不少号主问我的文章排版是用的哪个网站，我的回答是：自己做的网站！ 没错，这就是本文的主角 —— 公众号 Markdown 编辑器 这是我基于一位大佬 @Lyric 开发的项目，进行 Fork 后的二次开发，因为原项目已经几个月没更新，有一些排版 BUG；而且我需要对样式进行个性化定制，有一些逻辑与原项目有冲突之处，所以没有选择 PR。 上面截图，也就是我目前发文的格式，这是我自己定制的主题样式。 有多好用？ 先介绍下使用方式：在其

9 月 6 日下午，多位业内人士称，杭州知名大数据服务公司杭州魔蝎数据科技有限公司，疑似被相关执法人员控制，其中一位周姓核心高管人员被警方带走。 以上是前几天技术圈传播的一则新闻，又一家数据公司被调查，很多数据从业者、爬虫开发者发出了“感叹” —— 「爬虫用得好，XX进得早；数据玩得溜，XX吃个够」。 魔蝎科技作为一家数据服务公司，曾在 2017 年一篇『爬虫凶猛：爬支付宝、爬微信、窃取现金贷放贷数据』的文章中，被指出存在开发使用恶意爬虫的行为。 当然关于魔蝎科技为什么被查，这个等待执法部门的调查结果即可，咱们不在这里无端猜测。 我今天要说的是关于爬虫的合法性，我希望通过一些案例来探讨：怎

本文源于我近期的一次公司内部分享，通过逆向某款 APP 来介绍逆向过程。由于仅作为学习用途，APP 的相关信息会被遮盖，敬请理解。 关于逆向 逆向——包括但不限于通过反编译、Hook 等手段，来解析一些功能的实现过程。 逆向在很多领域都有应用，比如如今爬虫技术已经遍地走，甚至不用写代码都可以爬取数据，导致前端开发的反爬意识也逐步提升。因此 JS、Android 等领域的逆向，已经成为爬虫开发者必备的技能之一。 本文介绍的是最典型常见的传参加密，在很多应用接口都能见到，如果我们逆向解析出加密过程，就可以模拟出相同的密文，得到后端接口的“认可”。 逆向的准备 这里介绍下关于 Android

做多了爬虫都知道，写一个爬虫大部分时间不是在代码上，而是在分析网页上，所有有一套好用的工具可以极大节省劳动力，这里把平时积累的一些 Chrome 插件分享出来，均来自本人和同事推荐，并不定时更新，欢迎点赞和收藏。 下面大标题指向的是谷歌应用商店，访问需要特殊方法，也可以进入本仓库的 extensions 目录中下载。 XPath Helper 相比较 Chrome 自身的 html 搜索，这款插件好用之处是可以显示匹配结果，在插件里写出正确的 XPath 语句后再复制到代码里即可。 Toggle JavaScript 一键拦截网页所有的 JS，可以快速区分出哪些是异步加载的数据，绝

在使用爬虫中，经常会遇到网页请求数据是经过 JS 处理的，特别是模拟登录时可能有加密请求。而目前绝大部分前端 JS 代码都是经过混淆的，可读性极低，想理解代码逻辑需要花费大量时间。这时不要着急使用 Selenium 暴力解决，毕竟 Selenium 严重拖慢爬虫效率，我们可以尝试使用一些第三方库，来直接执行前端 JS 代码得到处理过后的结果。 PyExecJS 这个库主要是将 JS 代码运行在本地的 JS 环境中，优点是我们有多种 JS 环境的选择，官方推荐了 PyV8、Node.js、PhantomJS、Nashorn 四种，当然缺点是必须安装一种环境导致不是很轻量，而且调用时有一个启

最近项目中用到了简单的简繁转换，如果用OpenCC太重了，于是搜到了 zhconv 这个库。 zhconv 提供基于 MediaWiki 词汇表的最大正向匹配简繁转换，Python 2, 3 通用。 支持以下地区词转换： zh-tw 台灣正體 zh-hk 香港繁體 zh-sg 马新简体 zh-hans 简体 zh-hant 繁體 正好适合我不求转换质量的轻量需求，所以介绍给更多需要的人。 而且虽然该项目stars很少，但中途发现作者还参与过维护jieba分词。 调用也非常简单 >>> from zhconv import convert >>

在使用 pip 安装时，你会发现有下载进度条，我们也可以借助开源的第三方库来实现这个功能，在项目输出时增加一些可视化效果。 一个简单易用的第三方库是：progress 作者提供了动图很直观地展现了实现的所有输出。 这个库实现了两类样式，一类是有终点的进度条样式，另一类是多用于加载的转圈样式。 import time from progress.bar import Bar bar = Bar('Processing', max=100, fill='@', suffix='%(percent)d%%') for i in range(100):     time.sleep(0.1)

所有资源基于 Python3 版本，全部中文内容，适用于 爬虫 / Web / 数据 方向，每个单元根据学习习惯从 书籍 / 文档 / 视频 中选择一类即可，建议任选一本书籍，然后配合文档类进行学习。 资源遵守“宁缺毋滥”的原则，均经过网评筛选或个人亲测，不推荐各类低质量大杂烩的文章书籍，力求少走弯路。 通过本文链接资源坚持学习，可真正的零基础自学入门 Python ，实测已帮助两位零编程基础的朋友入门。 本索引清单将长期更新，更替更好的资源，请收藏的同时别忘了点个赞！也欢迎通过私信等方式补充推荐。 1.1 语言基础 书籍类（任选) Python 编程：从入门到实践 Python 游戏

打印，是所有程序员从小白时期就具备的神技，遇事不决打印一下，是 DEBUG 最简单且不依赖 IDE 的方式，自定义各种日志输出，也是项目成型后必备功能。 但是为了优雅的打印格式，往往需要对各种对象进行特殊格式化，可遇到字典和大段字符串也不好处理。 这篇文章介绍两个库模块，可以快速有效的解决所有 Python 对象的打印输出，没错，所有。 pprint 这是 Python 标准库模块，全称 pretty printer，可以让各种数据结构更美观地输出。 >>> print(game) {'players': \[{'name': 'player\_1', 'hp': 3}