本爬虫仅供学习交流，请勿将爬取数据进行非法使用。 功能简介 本爬虫可爬取各大互联网行业常用招聘网站(目前包括 拉勾网、BOSS直聘、前程无忧、猎聘网，更多可自定义)，采集职位主要信息输出到 csv 文件； 爬虫和文件写入独立两个进程(其实没必要，为了练习)，进程A对每个网站的爬虫启动多线程，每个爬虫以生成器方式迭代返回数据，通过队列传输给进程B进行写入。 运行环境 Python 3 requests lxml 代码简介 首先定义了爬虫的元类和基类，元类用来自动注册爬虫类到列表，进程只要遍历这个列表就能获得所有爬虫类了 # job_spider/spider.py class SpiderMeta(type): """爬虫类的元类，注册子类到列表，爬虫类指定此元类才能加入进程""" spiders = [] def __new__(mcs, name, bases, attrs): mcs.spiders.append(type.__new__(mcs, name, bases, attrs)) return t

configparser 简介 configparser 是 Pyhton 标准库中用来解析配置文件的模块，并且内置方法和字典非常接近。Python2.x 中名为 ConfigParser，3.x 已更名小写，并加入了一些新功能。 配置文件的格式如下： [DEFAULT] ServerAliveInterval = 45 Compression = yes CompressionLevel = 9 ForwardX11 = yes [bitbucket.org] User = Tom [topsecret.com] Port: 50022 ForwardX11: no “[ ]”包含的为 section，section 下面为类似于 key - value 的配置内容； configparser 默认支持 ‘=’ ‘：’ 两种分隔。 configparser 常用方法 初始化实例 使用 configparser 首先需要初始化实例，并读取配置文件： >>> import configparser >>> config = configpa