zkqiang's space 
  • 首页
  • 归档
  • 分类
  • 标签
  • 友链
  • 关于
  •   
  •   
GitHub 发布了官方 App,还打算冰封你的代码一千年

GitHub 发布了官方 App,还打算冰封你的代码一千年

11 月 13 日,GitHub Universe 2019 开发者大会上,公布了大量新功能,包括发布 GitHub 移动版、GitHub Actions 和 Packages 正式版上市、重新设计了通知体验,以及宣布建设一个数据仓库存储所有公共仓库一千年… GitHub App官方 App 终于来了,在手机上就可以 Review 代码、处理 Issues、合并 PR 等常用操作。让你无论身处

2019-11-14
Other
杂文
Node.js 使用 express-jwt 解析 JWT

Node.js 使用 express-jwt 解析 JWT

Node.js 上 Token 鉴权常用的是 passport,它可以自定义校验策略,但如果你是用 express 框架,又只是解析 JWT 这种简单需求,可以尝试下 express-jwt 这个中间件。 关于 JWTJWT 全称 JSON Web Token,是代替传统 session 认证的解决方案。其原理是服务端生成一个包含用户唯一标识的 JSON 对象,颁发给客户端。客户端请求需要权限

2019-11-07
JavaScript
后端
Python 3.8.0 正式版发布,新特性初体验

Python 3.8.0 正式版发布,新特性初体验

北京时间 10 月 15 日,Python 官方发布了 3.8.0 正式版,该版本较 3.7 版本再次带来了多个非常实用的新特性。 赋值表达式PEP 572: Assignment Expressions 新增一种新语法形式::=,又称为“海象运算符”(为什么叫海象,看看这两个符号像不像颜表情),如果你用过 Go 语言,应该对这个语法非常熟悉。 具体作用我们直接用实例来展示,比如在使用正则匹配

2019-10-16
Python
杂文
解决 Mac OS 10.14 环境下 gem install ERROR

解决 Mac OS 10.14 环境下 gem install ERROR

环境 Mac OS Mojave 10.14 ruby 2.3.7p456 (2018-03-28 revision 63024) 报错信息12345678910111213$ sudo gem install sassBuilding native extensions. This could take a while...ERROR: Error installing sass: ERRO

2019-10-02
Other
爬坑
众咖云集的 PyCon 2019 上海站,大佬们都讲了啥

众咖云集的 PyCon 2019 上海站,大佬们都讲了啥

9 月 21 号周六,我参加了 PyCon China 2019 上海站,这是每年一届的 Python 中国开发者大会。 今年的上海站比往年的阵容扩大很多,「流畅的 Python」作者、Flask 作者及核心维护者、PyCharm 开发者等等大佬都登台演讲。 本文将总结一下我观看的演讲,但并不会深入和完整,如有感兴趣的主题,可以等待官方后续放出的视频,我的公众号到时候也会转载。 Python 的

2019-09-22
Python
杂文
Markdown 直接转换公众号文章,不再为排版花时间

Markdown 直接转换公众号文章,不再为排版花时间

上一篇「又一家数据公司被查,爬虫到底做错了什么?」反响强烈,虽然我这是新号,但还是获得了不少公众号的转发,借机也结识了很多业内大佬,在此感谢大家的抬爱! 同时也有不少号主问我的文章排版是用的哪个网站,我的回答是:自己做的网站! 没错,这就是本文的主角—— 公众号 Markdown 编辑器 这是我基于一位大佬 @Lyric 开发的项目,进行 Fork 后的二次开发,因为原项目已经几个月没更新,有一

2019-09-16
Other
开源
又一家数据公司被查,爬虫到底做错了什么?

又一家数据公司被查,爬虫到底做错了什么?

9 月 6 日下午,多位业内人士称,杭州知名大数据服务公司杭州魔蝎数据科技有限公司,疑似被相关执法人员控制,其中一位周姓核心高管人员被警方带走。 以上是前几天技术圈传播的一则新闻,又一家数据公司被调查,很多数据从业者、爬虫开发者发出了“感叹” —— 「爬虫用得好,XX进得早;数据玩得溜,XX吃个够」。 魔蝎科技作为一家数据服务公司,曾在 2017 年一篇『爬虫凶猛:爬支付宝、爬微信、窃取现金贷

2019-09-07
Python
爬虫 杂文
三步搞定 Android 逆向

三步搞定 Android 逆向

本文源于我近期的一次公司内部分享,通过逆向某款 APP 来介绍逆向过程。由于仅作为学习用途,APP 的相关信息会被遮盖,敬请理解。 关于逆向逆向——包括但不限于通过反编译、Hook 等手段,来解析一些功能的实现过程。 逆向在很多领域都有应用,比如如今爬虫技术已经遍地走,甚至不用写代码都可以爬取数据,导致前端开发的反爬意识也逐步提升。因此 JS、Android 等领域的逆向,已经成为爬虫开发者必

2019-09-01
Python
爬虫
爬虫工程师常用的 Chrome 插件

爬虫工程师常用的 Chrome 插件

做多了爬虫都知道,写一个爬虫大部分时间不是在代码上,而是在分析网页上,所有有一套好用的工具可以极大节省劳动力,这里把平时积累的一些 Chrome 插件分享出来,均来自本人和同事推荐,并不定时更新,欢迎点赞和收藏。下面大标题指向的是谷歌应用商店,访问需要特殊方法,也可以进入本仓库的 extensions 目录中下载。 XPath Helper 相比较 Chrome 自身的 html 搜索,这款插

2019-06-02
Python
爬虫 经验
爬虫必备:Python 执行 JS 代码 —— PyExecJS、PyV8、Js2Py

爬虫必备:Python 执行 JS 代码 —— PyExecJS、PyV8、Js2Py

在使用爬虫中,经常会遇到网页请求数据是经过 JS 处理的,特别是模拟登录时可能有加密请求。而目前绝大部分前端 JS 代码都是经过混淆的,可读性极低,想理解代码逻辑需要花费大量时间。这时不要着急使用 Selenium 暴力解决,毕竟 Selenium 严重拖慢爬虫效率,我们可以尝试使用一些第三方库,来直接执行前端 JS 代码得到处理过后的结果。 PyExecJS这个库主要是将 JS 代码运行在本

2019-03-18
Python
爬虫 后端
1234

搜索

Hexo Fluid
总访问量 次 总访客数 人
浙ICP备19029560号-1