红联Linux门户
Linux帮助

WebMagic 0.6.1版本发布,Java爬虫框架

发布时间:2017-01-22 07:17:33来源:红联作者:cocotoo
WebMagic 0.6.1 版本发布了。本次更新修复了一些 0.6.0 的问题和一些小优化。

修改默认策略为信任所有 https 证书

修复使用 startUrls 添加 url 时,如果使用了 cookie 会出现空指针的问题

PhantomJSDownloader 支持 crawl.js 路径自定义

POST 请求支持 302 跳转

注:默认信任所有证书会有内容伪造的风险,但是考虑到爬虫的便利性还是加上了,使用者需要自己判断内容安全性。

软件详情:https://git.oschina.net/flashsword20/webmagic

来自:开源中国社区
文章评论

共有 0 条评论