红联Linux门户
Linux帮助

Jcseg 1.9.8发布,新增检索模式/细粒度切分

发布时间:2016-06-13 14:57:48来源:红联作者:baihuo
Jcseg是基于mmseg算法的一个轻量级开源中文分词器,同时集成了关键字提取,关键短语提取,关键句子提取和文章自动摘要等功能,并且提供了最新版本的lucene, solr, elasticsearch的分词接口。

Jcseg 1.9.8 更新内容:

增加检索切分模式(SEARCH_MODE),实现细粒度切分,专业为搜索。

增加DictionaryFactory#createSingletonDictionary,用于创建单例词库。

将analyzer,elasticsearch接口词库更改为单例创建,节省内存,同时避免了多实例的下词库自动加载无法全局更新的问题。

提供对lucene,solr 6.0以上版本的支持,elasticsearch 2.3.1以上版本的支持。

增加JcsegAnalyzer5X如下构造方法方便lucene应用的打包发布:

JcsegAnalyzer5X(int mode, String proFile)
JcsegAnalyzer5X(int mode, JcsegTaskConfig config)
JcsegAnalyzer5X(int mode, JcsegTaskConfig config, ADictionary dic)

代码格式标准化,例如:4空格代替tab,花括号的换行等。

词库优化(去除些许无用词,完善部分词条词性定义)。

修复jcseg-server.properties#jcseg_global_setting名称错误, 更改为:jcseg_global_config。

修复JcsegServer#http_config设置bug和TokenizerController#pos拼写错误。

软件详情:http://git.oschina.net/lionsoul/jcseg/commit/ac730fc059e5e599703662b2b27322108894b64e

下载地址:http://git.oschina.net/lionsoul/jcseg

来自:开源中国社区
文章评论

共有 0 条评论