Node.js 上 Token 鉴权常用的是 passport，它可以自定义校验策略，但如果你是用 express 框架，又只是解析 JWT 这种简单需求，可以尝试下 express-jwt 这个中间件。 关于 JWTJWT 全称 JSON Web Token，是代替传统 session 认证的解决方案。其原理是服务端生成一个包含用户唯一标识的 JSON 对象，颁发给客户端。客户端请求需要权限的接

北京时间 10 月 15 日，Python 官方发布了 3.8.0 正式版，该版本较 3.7 版本再次带来了多个非常实用的新特性。 赋值表达式PEP 572: Assignment Expressions新增一种新语法形式：:=，又称为“海象运算符”（为什么叫海象，看看这两个符号像不像颜表情），如果你用过 Go 语言，应该对这个语法非常熟悉。具体作用我们直接用实例来展示，比如在使用正则匹配时，以往

环境Mac OS Mojave 10.14ruby 2.3.7p456 (2018-03-28 revision 63024) 报错信息$ sudo gem install sass Building native extensions. This could take a while... ERROR: Error installing sass: ERROR: Failed to bui

9 月 21 号周六，我参加了 PyCon China 2019 上海站，这是每年一届的 Python 中国开发者大会。今年的上海站比往年的阵容扩大很多，「流畅的 Python」作者、Flask 作者及核心维护者、PyCharm 开发者等等大佬都登台演讲。本文将总结一下我观看的演讲，但并不会深入和完整，如有感兴趣的主题，可以等待官方后续放出的视频，我的公众号到时候也会转载。 Python 的永恒之

上一篇「又一家数据公司被查，爬虫到底做错了什么？」反响强烈，虽然我这是新号，但还是获得了不少公众号的转发，借机也结识了很多业内大佬，在此感谢大家的抬爱！同时也有不少号主问我的文章排版是用的哪个网站，我的回答是：自己做的网站！没错，这就是本文的主角—— 公众号 Markdown 编辑器这是我基于一位大佬 @Lyric 开发的项目，进行 Fork 后的二次开发，因为原项目已经几个月没更新，有一些排版

9 月 6 日下午，多位业内人士称，杭州知名大数据服务公司杭州魔蝎数据科技有限公司，疑似被相关执法人员控制，其中一位周姓核心高管人员被警方带走。以上是前几天技术圈传播的一则新闻，又一家数据公司被调查，很多数据从业者、爬虫开发者发出了“感叹” —— 「爬虫用得好，XX进得早；数据玩得溜，XX吃个够」。魔蝎科技作为一家数据服务公司，曾在 2017 年一篇『爬虫凶猛：爬支付宝、爬微信、窃取现金贷放贷数据

本文源于我近期的一次公司内部分享，通过逆向某款 APP 来介绍逆向过程。由于仅作为学习用途，APP 的相关信息会被遮盖，敬请理解。 关于逆向逆向——包括但不限于通过反编译、Hook 等手段，来解析一些功能的实现过程。逆向在很多领域都有应用，比如如今爬虫技术已经遍地走，甚至不用写代码都可以爬取数据，导致前端开发的反爬意识也逐步提升。因此 JS、Android 等领域的逆向，已经成为爬虫开发者必备的技

做多了爬虫都知道，写一个爬虫大部分时间不是在代码上，而是在分析网页上，所有有一套好用的工具可以极大节省劳动力，这里把平时积累的一些 Chrome 插件分享出来，均来自本人和同事推荐，并不定时更新，欢迎点赞和收藏。下面大标题指向的是谷歌应用商店，访问需要特殊方法，也可以进入本仓库的 extensions 目录中下载。 XPath Helper相比较 Chrome 自身的 html 搜索，这款插件好用

在使用爬虫中，经常会遇到网页请求数据是经过 JS 处理的，特别是模拟登录时可能有加密请求。而目前绝大部分前端 JS 代码都是经过混淆的，可读性极低，想理解代码逻辑需要花费大量时间。这时不要着急使用 Selenium 暴力解决，毕竟 Selenium 严重拖慢爬虫效率，我们可以尝试使用一些第三方库，来直接执行前端 JS 代码得到处理过后的结果。 PyExecJS这个库主要是将 JS 代码运行在本地的

最近项目中用到了简单的简繁转换，如果用OpenCC太重了，于是搜到了 zhconv 这个库。zhconv 提供基于 MediaWiki 词汇表的最大正向匹配简繁转换，Python 2, 3 通用。支持以下地区词转换：zh-tw 台灣正體zh-hk 香港繁體zh-sg 马新简体zh-hans 简体zh-hant 繁體正好适合我不求转换质量的轻量需求，所以介绍给更多需要的人。而且虽然该项目stars很