lixuanhng / nlp_related_projects

Mark and summarize the NLP project has been through

导航

So far：

GNN

|--RGCN (link prediction) （关系图卷积神经网络，可用于已知图谱的链路预测，完成图谱补全）

Bert

|--bert_sim (text similarity) （完成文本相似度任务，可用于基于知识库的问答模型）

Attention

|--Multi-Head Self-Attention (text classification demo)（完成文本分类demo，包含位置编码）

NER

|--BiLSTM + CRF (完成实体识别模型，主要实体包括食物，营养素，人群等)

RE

|--BIGRU + Attention （完成关系抽取模型）

ESIM

| -- BiGRU + local inference model（文本匹配模型）

nlp_related_projects's Issues

dataset

请问RGCN链路预测这个数据集是什么呀？可以发出来嘛

相似性结果没有改变

为什么我用自己预训练得到的模型来做英文的文本相似性分析时，不管怎么改变两个用来预测的句子，最后的结果都很接近0.5。而且最后两个句子预测得到的label好像不是计算得到的，就是一开始设置的那个label啊？

GNN data

作者能分享下RGCN的输入数据吗，想用你的数据尝试跑下程序

文本相似度结果产生的原理？

一般计算文本相似度会用到余弦距离或者欧氏距离等，那么在这个项目中用到的是什么方法或者原理呢？

problem

在load_vocab时出现编码错误

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd5 in position 144: invalid continuation byte

请问这个如何解决
Traceback (most recent call last):
File "D:/down/NLP_related_projects-master/BERT/Bert_sim/run_similarity.py", line 716, in
sim = BertSim()
File "D:/down/NLP_related_projects-master/BERT/Bert_sim/run_similarity.py", line 141, in init
self.tokenizer = tokenization.FullTokenizer(vocab_file=cf.vocab_file, do_lower_case=True)
File "D:\down\NLP_related_projects-master\BERT\Bert_sim\bert_model\tokenization.py", line 165, in init
self.vocab = load_vocab(vocab_file)
File "D:\down\NLP_related_projects-master\BERT\Bert_sim\bert_model\tokenization.py", line 127, in load_vocab
token = convert_to_unicode(reader.readline())
File "D:\Anaconda3\envs\tf2\lib\site-packages\tensorflow\python\lib\io\file_io.py", line 169, in readline
self._preread_check()
File "D:\Anaconda3\envs\tf2\lib\site-packages\tensorflow\python\lib\io\file_io.py", line 79, in _preread_check
self.__name, 1024 * 512)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd5 in position 144: invalid continuation byte

Process finished with exit code 1

bert模型文件好像没有

bert模型文件好像没有

from bert_dir.bert.bert import modeling
from bert_dir.bert.bert import tokenization
from bert_dir.bert.bert import optimization

bert_dir不存在

bert_model没有

这里面的bert_model指的是什么呢