thunlp / thucke Goto Github PK

請問res資料夾是要自己創建嗎？
因為我跑了./thucke -i ./test1.txt -n 5 -m ./res
他出現
invalid model_path: ./res
invalid model_path: ./res
Segmentation fault: 11

目前還是用內附的text1文本，Segmentation fault?

謝謝提供開源

1.你们在计算idf( = log(总文本数/词所在的文本数))的时候,总文本(lexiconNumDocs)数取的是0,(具体赋值在keywordLoad.cpp的109行,对其进行model>>lexiconNumDocs赋值这一步,得到的大小是0)这导致所有词的idf值都是inf(无穷大).
2.你们在读取文件res/thucke/pro_forward的时候,你们是想按照book/key的顺序读取的,但代码其实是在按key/book的顺序读取的,这也是一个错误.你可以通过printf文件的size来看,会发现300w的数据在读取后只保留了200w个.

想要请问下模型训练这块是否开源？由于官方提供的模型是基于网易新闻爬取的新闻数据（大概40000条）进行训练，我想要训练一个新的模型。

1.下载模型文件（下载地址）：

将模型下载并解压到./res/，解压后目录结构应为：

文中的模型下载地址直接跳贵校实验室主业了：http://thucke.thunlp.org/site2/index.php/zh，请问模型文件在哪里呢

您好，请问可以提供训练时用的网易新闻数据集嘛？

您好，请问模型文件夹中的前向概率和后项概率文件如何生成的，请指教