5iyuzi / wordsplit Goto Github PK
View Code? Open in Web Editor NEWThis project forked from wwhwj1981720/wordsplit
今天很高兴,把刚写完的中文分词上传上来。自己测了一下。每秒20万条的处理能力,还有很大的改进余地。ansj的处理能力大概是每秒70-100万条,对于性能的提高我觉得可以按以下步骤改进:1:字典树结点建立时排序,查找时使用快排2:将字典树的结构修改为doubleTrieTree3:生成短信库下面字典。从0到60分,感谢ansj-sun分享的中文分词代码,让我了解中文分词的基本原理,走进nlp领域