红联Linux门户
Linux帮助

Pholcus 0.5.2发布,Go爬虫软件

发布时间:2015-08-07 10:08:17来源:红联作者:empast
Pholcus 0.5.2 发布,更新内容如下:

spider模块更加灵活,支持动态Rule及动态OutFeild;

优化mysql输出;

优化下载模块;

优化百度及淘宝搜索规则;

优化去重功能。

Pholcus(幽灵蛛)是一款纯Go语言编写的重量级爬虫软件,清新的GUI界面,优雅的爬虫规则、可控的高并发、任意的批量任务、多种输出方式、大量Demo,支持横纵向两种抓取模式,支持模拟登录和任务取消等,并且考虑了支持分布式布局。

软件详情:https://github.com/henrylee2cn/pholcus

下载地址:https://github.com/henrylee2cn/pholcus/archive/v0.5.2.zip

来自:开源中国社区
文章评论

共有 1 条评论

  1. Pinatapai 于 2015-08-09 11:17:51发表:

    不错