friso是使用C语言开发的一款高性能分词组件, 并且提供了一个php分词扩展: robbe
friso 1.1版本 来了:
1. 修复了一个可能会导致内存泄漏的bug. 更改了接口API, 解决需要调用程序需要自动释放内存的问题, 在friso_next内自动处理了, 详细可查看官方文档.
2. 加上了同义词切分功能, 实现同义词匹配. (需要在friso.ini中配置friso.add_syn=1)
3. 加入了停止词过滤功能, 新加入了lex-stopwords.lex词库, 专门存放停止词词库.
4. 对friso内部代码进行了优化, 加载全部词库只需13.xM内存, 而且切分速度也提高了. 简易模式可达: 3.8M/sec, 复杂模式也接近了2.0M/sec.
下一个时间段会更新基于friso的php分词扩展 robbe.
在此感谢网友的反馈和关注, 尤其是海外的陈志刚哥们, 还提供了friso的go调用接口.
项目主页:http://code.google.com/p/friso/
下载地址:http://code.google.com/p/friso/downloads/list
来自:开源中国社区