红联Linux门户
Linux帮助

friso-1.1发布 - 优化+同义词匹配+停止词过滤

发布时间:2013-06-14 15:21:10来源:红联作者:empast
friso是使用C语言开发的一款高性能分词组件, 并且提供了一个php分词扩展: robbe

friso 1.1版本 来了:

1. 修复了一个可能会导致内存泄漏的bug. 更改了接口API, 解决需要调用程序需要自动释放内存的问题, 在friso_next内自动处理了, 详细可查看官方文档.

2. 加上了同义词切分功能, 实现同义词匹配. (需要在friso.ini中配置friso.add_syn=1)

3. 加入了停止词过滤功能, 新加入了lex-stopwords.lex词库, 专门存放停止词词库.

4. 对friso内部代码进行了优化, 加载全部词库只需13.xM内存, 而且切分速度也提高了. 简易模式可达: 3.8M/sec, 复杂模式也接近了2.0M/sec.

下一个时间段会更新基于friso的php分词扩展 robbe.

在此感谢网友的反馈和关注, 尤其是海外的陈志刚哥们, 还提供了friso的go调用接口.

项目主页:http://code.google.com/p/friso/

下载地址:http://code.google.com/p/friso/downloads/list

来自:开源中国社区
文章评论

共有 0 条评论