知乎的登录页面已经改版多次，加强了身份验证，网络上大部分模拟登录均已失效，所以我重写了一份完整的，并实现了提交验证码 (包括中文验证码)，本文我对分析过程和代码进行步骤分解，完整的代码请见末尾 Github 仓库，不过还是建议看一遍正文，因为代码早晚会失效，解析思路才是永恒。 分析 POST 请求 首先打开控制台正常登录一次，可以很快找到登录的 API 接口，这个就是模拟登录 POST 的链接。 我们的最终目标是构建 POST 请求所需的 Headers 和 Form-Data 这两个对象即可。 构建 Headers 继续看Requests Headers信息，和登录页面的 GET 请求对比发现，这个 POST 的头部多了三个身份验证字段，经测试x-xsrftoken是必需的。 x-xsrftoken则是防 Xsrf 跨站的 Token 认证，访问首页时从Response Headers的Set-Cookie字段中可以找到。 构建 Form-Data Form部分目前已经是加密的，无法再直观看到，可以通过在 JS 里打断点的方式（具体这里不再赘述，如不会打断点请自行搜索）

最近项目中用到了简单的简繁转换，如果用OpenCC太重了，于是搜到了 zhconv 这个库。 zhconv 提供基于 MediaWiki 词汇表的最大正向匹配简繁转换，Python 2, 3 通用。 支持以下地区词转换： zh-tw 台灣正體 zh-hk 香港繁體 zh-sg 马新简体 zh-hans 简体 zh-hant 繁體 正好适合我不求转换质量的轻量需求，所以介绍给更多需要的人。 而且虽然该项目stars很少，但中途发现作者还参与过维护jieba分词。 调用也非常简单 >>> from zhconv import convert >>> convert('Python是一种动态的、面向对象的脚本语言', 'zh-hant') 'Python是一種動態的、面向對象的腳本語言' 复制代码 支持对地区化词语的转换 >>> convert('计算机软件', 'zh-tw') '計算機軟體' >>> convert('計算機軟體', 'zh-hans') # zh-hans只是逐字转换 '计

在使用 pip 安装时，你会发现有下载进度条，我们也可以借助开源的第三方库来实现这个功能，在项目输出时增加一些可视化效果。 progress 一个简单易用的第三方库是：progress 作者提供了动图很直观地展现了实现的所有输出。 这个库实现了两类样式，一类是有终点的进度条样式，另一类是多用于加载的转圈样式。 import time from progress.bar import Bar bar = Bar('Processing', max=100, fill='@', suffix='%(percent)d%%') for i in range(100):     time.sleep(0.1)     bar.next() bar.finish() 参数定义的功能： max： 进度条最大进度 fill：进度条填充的字符 suffix：百分比的样式 运行上述代码会得到输出 Processing |@@@@@@                          | 20% 同时也提供上下文的用法（需要用 Github 里的源代码）： with Bar(

所有资源基于 Python3 版本，全部中文内容，适用于 爬虫 / Web / 数据 方向，每个单元根据学习习惯从 书籍 / 文档 / 视频 中选择一类即可，建议任选一本书籍，然后配合文档类进行学习。 资源遵守“宁缺毋滥”的原则，均经过网评筛选或个人亲测，不推荐各类低质量大杂烩的文章书籍，力求少走弯路。 通过本文链接资源坚持学习，可真正的零基础自学入门 Python ，实测已帮助两位零编程基础的朋友入门。 本索引清单将长期更新，更替更好的资源，请收藏的同时别忘了点个赞！也欢迎通过私信等方式补充推荐。 1. 语法基础 书籍类（任选） Python 编程：从入门到实践 Python 编程快速上手 “笨办法”学 Python Python 核心编程（第二版）— 适合有编程基础 视频类（任选） 小甲鱼零基础入门 Python Python 语言程序设计_北京理工大学_中国大学 MOOC 文档类（任选） 菜鸟教程 — 适合零基础 廖雪峰教程 — 适合有编程基础 官方文档翻译 — 适合其他语言转学 2.1 爬虫基础 书籍类（任选） 图解HTTP — 零基础必读 Python3 网络

打印，是所有程序员从小白时期就具备的神技，遇事不决打印一下，是 DEBUG 最简单且不依赖 IDE 的方式，自定义各种日志输出，也是项目成型后必备功能。 但是为了优雅的打印格式，往往需要对各种对象进行特殊格式化，可遇到字典和大段字符串也不好处理。 这篇文章介绍两个库模块，可以快速有效的解决所有 Python 对象的打印输出，没错，所有。 pprint 这是 Python 标准库模块，全称 pretty printer，可以让各种数据结构更美观地输出。 >>> print(game) {'players': \[{'name': 'player\_1', 'hp': 3}, {'name': 'player\_2', 'hp': 5}\]} >>> pprint.pprint(game, width=4) {'players': \[{'hp': 3,               'name': 'player_1'},              {'hp': 5,               'name': 'player_2'}\]} **

在 Python 众多原生特性中，描述符可能是最少被自定义实现的特性之一，很多初学者都可能不知道它的存在，但它在底层实现的方法和属性却随处可见，它优雅的实现方式充分体现出 Python 的简洁之美。 定义 描述符（descriptor）：是一个有"绑定行为"的对象属性(object attribute)，它的访问控制会被描述器协议方法重写。 任何定义了 __get__, __set__ 或者 __delete__ 任一方法的类称为描述符类，其实例对象便是一个描述符，这些方法称为描述符协议。 当对一个实例属性进行访问时，Python 会按 obj.__dict__ → type(obj).__dict__ → type(obj)的父类.__dict__ 顺序进行查找，如果查找到目标属性并发现是一个描述符，Python 会调用描述符协议来改变默认的控制行为。 描述符是 @property @classmethod @staticmethod 和 super 的底层实现机制。 特性 同时定义了 __get__ 和 __set__ 的描述符称为 数据描述符(d

美国时间6月27日晚8点，Python 3.7.0 经过多轮测试，终于发布了正式版，增强了多处特性功能，同时 3.6 也更新到 3.6.6 稳定版本。 主要特性 PEP 539，新增 CPython 中用于线程本地存储的 C-API PEP 545，Python 官方文档翻译版本，新增日文、法文、韩文 PEP 552，优化 pyc 文件 PEP 553，新增内置函数 breakpoint() ，该函数在调用时自动进入调试器 PEP 557，新增内置模块dataclasses，可大幅简化类实例属性的初始化定义 PEP 560，新增支持类型模块和泛型 PEP 562，支持在模块定义 getattr 和__dir__ PEP 563，推迟对注释语句的分析从而优化 Python 的类型提示 PEP 564，time 内置函数支持纳秒 PEP 565，重新在 main 中默认显示 DeprecationWarning PEP 567，新增 contextvars模块，可实现上下文变量解决变量线程安全 避免使用 ASCII 作为默认文本编码，强制 UTF-8 编码运行 字典对象的 keys

前言 前几天董大 @董伟明 的爱派森上线了，还发了一套 PPT 和视频，PPT 共有 75 页干货，讲了很多进阶的用法，也包括很多坑，非常适合刚入门的同学，免得再踩到。 PPT 和视频的传送门 这里我提取部分容易忽视的，也就是大部分教程里没有的，加入自己的理解，同时语法改为 Python 3，也争取延伸一些，就当是做笔记了。 设置全局变量 有时候设置全局变量的需求并不是直接赋值，而是想从某个数据结构里引用生成，可以用下面这两种方法，推荐第二种，golbals() 支持字典用法很方便。 >>> d = {'a': 1, 'b':2} >>> # 粗暴的写法 >>> for k, v in d.items(): ... exec "{}={}".format(k, v) ... >>> # 文艺的写法 >>> globals().update(d) >>> a, b (1, 2) >>> 'a', 'b' ('a', 'b') >>>

本爬虫仅供学习交流，请勿将爬取数据进行非法使用。 功能简介 本爬虫可爬取各大互联网行业常用招聘网站(目前包括 拉勾网、BOSS直聘、前程无忧、猎聘网，更多可自定义)，采集职位主要信息输出到 csv 文件； 爬虫和文件写入独立两个进程(其实没必要，为了练习)，进程A对每个网站的爬虫启动多线程，每个爬虫以生成器方式迭代返回数据，通过队列传输给进程B进行写入。 运行环境 Python 3 requests lxml 代码简介 首先定义了爬虫的元类和基类，元类用来自动注册爬虫类到列表，进程只要遍历这个列表就能获得所有爬虫类了 # job_spider/spider.py class SpiderMeta(type): """爬虫类的元类，注册子类到列表，爬虫类指定此元类才能加入进程""" spiders = [] def __new__(mcs, name, bases, attrs): mcs.spiders.append(type.__new__(mcs, name, bases, attrs)) return t

configparser 简介 configparser 是 Pyhton 标准库中用来解析配置文件的模块，并且内置方法和字典非常接近。Python2.x 中名为 ConfigParser，3.x 已更名小写，并加入了一些新功能。 配置文件的格式如下： [DEFAULT] ServerAliveInterval = 45 Compression = yes CompressionLevel = 9 ForwardX11 = yes [bitbucket.org] User = Tom [topsecret.com] Port: 50022 ForwardX11: no “[ ]”包含的为 section，section 下面为类似于 key - value 的配置内容； configparser 默认支持 ‘=’ ‘：’ 两种分隔。 configparser 常用方法 初始化实例 使用 configparser 首先需要初始化实例，并读取配置文件： >>> import configparser >>> config = configpa