WebMagic 0.6.1 版本发布了。本次更新修复了一些 0.6.0 的问题和一些小优化。
修改默认策略为信任所有 https 证书
修复使用 startUrls 添加 url 时,如果使用了 cookie 会出现空指针的问题
PhantomJSDownloader 支持 crawl.js 路径自定义
POST 请求支持 302 跳转
注:默认信任所有证书会有内容伪造的风险,但是考虑到爬虫的便利性还是加上了,使用者需要自己判断内容安全性。
软件详情:https://git.oschina.net/flashsword20/webmagic
来自:开源中国社区

