红联Linux门户
Linux帮助

Gather Platform 0.2发布,数据采集平台

发布时间:2016-12-26 09:15:26来源:红联作者:Sednol
此版本中新增功能如下:

数据导出功能,方便进行后期数据分析;

更新了爬虫模板配置系统,简化配置;

升级Webmagic到0.6.0版本;

修复了如下BUG:

修复了不使用ES时的空指针问题;

去除示例模板中的ID;

Gather Platform 数据抓取平台是一套基于Webmagic内核的,具有Web任务配置和任务管理界面的数据采集与搜索平台,可以实现不进行任何代码编写,即可完成对于一个网站的精准数据采集。具有以下功能

根据配置的模板进行数据采集

对采集的数据进行NLP处理,包括:抽取关键词,抽取摘要,抽取实体词

在不配置采集模板的情况下自动检测网页正文,自动抽取文章发布时间

动态字段抽取与静态字段植入

已抓取数据的管理,包括:搜索,增删改查,按照新的数据模板重新抽取数据

下载地址:https://github.com/gsh199449/spider/archive/V0.2.zip

来自:开源中国社区
文章评论

共有 0 条评论