Common Crawl

commoncrawl 源码库是用于 Hadoop 的自定义 InputFormat 配送实现。

Common Crawl 提供一个示例程序 BasicArcFileReaderSample.java (位于 org.commoncrawl.samples) 用来配置 InputFormat。

主页：http://commoncrawl.org/

下载：https://github.com/commoncrawl/commoncrawl

来自:开源中国社区