biliangltd / wordsimilarity

基于哈工大同义词词林扩展版的单词相似度计算方法

WordSimilarity

这是一个基于哈工大同义词词林扩展版的单词相似度计算方法的python实现，参考论文如下：

2010 田久乐等，吉林大学学报（信息科学版），基于同义词词林的词语相似度计算方法。

安装

pip install WordSimilarity

使用

from word_similarity import WordSimilarity2010

ws_tool = WordSimilarity2010()

b_a = "抄袭"
b_b = "克隆"
sim_b = ws_tool.similarity(b_a, b_b)
print(b_a, b_b, '相似度为', sim_b)
#抄袭 克隆 最终的相似度为 0.585642777645155

w_a = '人民'
sample_list = ["国民", "群众", "党群", "良民", "同志", "成年人", "市民", "亲属", "志愿者", "先锋" ]

for s_a in sample_list:
    sim_a = ws_tool.similarity(w_a,s_a)
    print(w_a, s_a, '相似度为', sim_a)
# 人民 国民 相似度为 1
# 人民 群众 相似度为 0.9576614882494312
# 人民 党群 相似度为 0.8978076452338418
# 人民 良民 相似度为 0.7182461161870735
# 人民 同志 相似度为 0.6630145969121822
# 人民 成年人 相似度为 0.6306922220793977
# 人民 市民 相似度为 0.5405933332109123
# 人民 亲属 相似度为 0.36039555547394153
# 人民 志愿者 相似度为 0.22524722217121346
# 人民 先锋 相似度为 0.18019777773697077
        

同类项目

• https://github.com/ashengtx/CilinSimilarity 实现了三种计算方法。
• https://github.com/Xls1994/Cilin
• http://www.codepub.cn/2015/08/04/Based-on-the-extended-version-of-synonyms-Cilin-word-similarity-computing/ Java实现

致谢：

本代码的实现要感谢下面几位作者：

• 哈工大信息检索研究室所著的《哈工大信息检索研究室同义词词林扩展版》
• 田久乐 赵 蔚在2010年所发表论文<基于同义词词林的词语相似度计算方法>
• http://codepub.cn/2015/08/04/Based-on-the-extended-version-of-synonyms-Cilin-word-similarity-computing/
• http://www.cnblogs.com/einyboy/archive/2012/09/09/2677265.html?from=singlemessage&isappinstalled=0
• 本代码参考了https://github.com/ashengtx/CilinSimilarity 部分实现

wordsimilarity's Issues

功能建议

能否实现同义词查询功能

__init__.py建议修改，打开文件时要用UTF-8格式打开才不会报错

def _load_cilin(self, file_path):

    '''
    加载词林数据。
    :return:
    '''

    file_obj = open(file_path, 'r',  encoding='UTF-8')
    line_num = 0
    while True:
        line_num += 1
        line = file_obj.readline()

windows下使用有编码问题

Traceback (most recent call last): File "D:/projects/miscellaneous/test.py", line 5, in <module> ws_tool = WordSimilarity2010() File "C:\Users\00015426\AppData\Local\Programs\Python\Python37\lib\site-packages\word_similarity\__init__.py", line 101, in __init__ super(WordSimilarity2010, self).__init__() File "C:\Users\00015426\AppData\Local\Programs\Python\Python37\lib\site-packages\word_similarity\__init__.py", line 20, in __init__ self._load_cilin(t_cilin_path) File "C:\Users\00015426\AppData\Local\Programs\Python\Python37\lib\site-packages\word_similarity\__init__.py", line 45, in _load_cilin line = file_obj.readline() UnicodeDecodeError: 'gbk' codec can't decode byte 0xba in position 11: illegal multibyte sequence

希望作者可以增加编码兼容，比如说file_obj = open(file_path, 'r', encoding="utf-8")

大哥我能问你些问题吗！

可以整个c#版的吗

为什么运行test_word_similarity.py不显示结果？

词库里面没有的词语，比较结果是0