红联Linux门户
Linux帮助

结巴分词0.24发布,Python中文分词组件

发布时间:2012-12-29 10:25:59来源:红联作者:empast
结巴分词:做最好的中文分词组件

0.24版的更新如下:

1) 解决了没有标点的长句子分词效果差的问题。问题在于连续的小概率乘法可能会导致浮点下溢或为0。现在已经改为对数加法的方式,详见:issue19: https://github.com/fxsjy/jieba/issues/19

2) 修复了0.23的全模式下英文分词的bug

项目主页:https://github.com/fxsjy/jieba/

来自:开源中国社区
文章评论

共有 0 条评论