此版本中新增功能如下:
数据导出功能,方便进行后期数据分析;
更新了爬虫模板配置系统,简化配置;
升级Webmagic到0.6.0版本;
修复了如下BUG:
修复了不使用ES时的空指针问题;
去除示例模板中的ID;
Gather Platform 数据抓取平台是一套基于Webmagic内核的,具有Web任务配置和任务管理界面的数据采集与搜索平台,可以实现不进行任何代码编写,即可完成对于一个网站的精准数据采集。具有以下功能
根据配置的模板进行数据采集
对采集的数据进行NLP处理,包括:抽取关键词,抽取摘要,抽取实体词
在不配置采集模板的情况下自动检测网页正文,自动抽取文章发布时间
动态字段抽取与静态字段植入
已抓取数据的管理,包括:搜索,增删改查,按照新的数据模板重新抽取数据
下载地址:https://github.com/gsh199449/spider/archive/V0.2.zip
来自:开源中国社区

