lipengfei-558 / hmm_ner_organization

使用HMM模型实现的机构名实体识别

基于HMM模型的机构名实体识别

1.环境依赖

• python 2.7
• jieba （可选）

2.算法说明

参考《基于角色标注的中文机构名识别》论文，结合HanLP提供的针对机构名的HMM语料，实现了基于HMM模型的机构名实体识别算法。

详细说明文档，可前往我的博客围观：用隐马尔可夫模型(HMM)做命名实体识别——NER系列（二）

3.使用说明

首先，运行以下脚本：

python generate_data.py

会在./data下生成transition_probability.txt，emit_probability.txt以及initial_vector.txt

然后，运行:

python OrgRecognize.py

就可以了，不出意外，“中海油集团在哪里”这句话，会识别出“中海油集团”这个机构实体。

4.参考资料

• 张华平, 刘群. 基于角色标注的**人名自动识别研究[J]. 计算机学报, 2004, 27(1):85-91.
• 俞鸿魁, 张华平, 刘群. 基于角色标注的中文机构名识别[C]// Advances in Computation of Oriental Languages--Proceedings of the, International Conference on Computer Processing of Oriental Languages. 2003.
• 俞鸿魁, 张华平, 刘群,等. 基于层叠隐马尔可夫模型的中文命名实体识别[J]. 通信学报, 2006, 27(2):87-94.
• 码农场文章：层叠HMM-Viterbi角色标注模型下的机构名识别

hmm_ner_organization's Issues

generate_datas.py有一处错误？

def generate_emit_probability(initial_freq)函数中，
result.append([tmp_list[0],observed_state,float(tags_and_freq[1])/initial_freq[tmp_list[0]]]) 应该改为
result.append([tmp_list[0],observed_state,float(tmp_list[1])/initial_freq[tmp_list[0]]]) 吧？

generate_datas.py中有一个错误

python generate_datas.py
Traceback (most recent call last):
File "generate_datas.py", line 91, in
genertate_initial_vector(hidden_states)
File "generate_datas.py", line 20, in genertate_initial_vector
the_hidden_states[tmp_list[0]] += eval(tmp_list[1])
KeyError: '2'