红联Linux门户
Linux帮助

WebMagic 0.6.0版本发布,Java爬虫框架

发布时间:2016-12-19 09:17:26来源:红联作者:baihuo
WebMagic 0.6.0 版本发布了。

此次更新主要是一些依赖包的升级和bugfix。

代理增加用户名密码认证

重构代理池部分代码,支持自定义代理池

修复低版本json-path依赖2.x的StringUtils导致报错的问题

升级fastjson 到1.2.21

修复JsonPath在注解模式不可用的问题

修复监控模块在URL带有端口时会报错的问题

修复FileCacheQueueScheduler的NullPointerException问题

为PhantomJSDownloader添加新的构造函数,支持phantomjs自定义命令

修复抓取https链接线程无法结束导致进程一直运行的问题

升级HttpClient到4.5.2,修复一些安全问题

去掉Guava依赖

因为Guava不同版本兼容性不好,经常导致demo无法运行,所以我最后决定去掉了Guava的依赖。如果使用了BloomFilterDuplicateRemover的用户,需要手动依赖Guava包。

去掉Avalon相关包

Avalon是之前计划的一站式抓取平台。因为有个朋友基于WebMagic做了类似的实现Gather Platform,所以Avalon放弃了,转而支持这个项目。WebMagic核心会专注于做应用内的框架。

下载地址:https://github.com/code4craft/webmagic/releases/download/WebMagic-0.6.0/webmagic-0.6.0-all.tar.gz

来自:开源中国社区
文章评论

共有 0 条评论