wenrichard / kbqa-bert

基于知识图谱的问答系统，BERT做命名实体识别和句子相似度，分为online和outline模式

Hi WenRichard 👋

be better！

---

🔭 I’m currently working on and learning:

• NLP
• DL

My Social Media 😺

• github: WenRichard
• 知乎专栏: QA Weekly

kbqa-bert's Issues

分享一个基于BERT的联合训练的思路

感谢作者的工作！

最近在做KBQA的百科问答，受作者项目的启发，开发了一个基于BERT联合训练的KBQA Demo。
https://github.com/fyubang/Joint-BERT-KBQA

'utf-8' codec can't decode byte 0xd5 in position 158: invalid continuation byte

我在运行run_similarity.py时出现了这个错误，请问怎么解决呢?

kbqa_test.py文件的kb_fuzzy_classify_test函数中的非语义匹配部分我认为应该break跳出循环，为什么没有跳出来呢？

运行run_ner.py时未找到dev.txt,请问这个文件是怎么生成的呢

Traceback (most recent call last):
File "run_ner.py", line 865, in
tf.app.run()
File "/home/rfjiangfdu/anaconda3/envs/python3.6/lib/python3.6/site-packages/tensorflow/python/platform/app.py", line 125, in run
_sys.exit(main(argv))
File "run_ner.py", line 700, in main
eval_examples = processor.get_dev_examples(FLAGS.data_dir)
File "run_ner.py", line 213, in get_dev_examples
self._read_data(os.path.join(data_dir, "dev.txt")), "dev"
File "run_ner.py", line 179, in _read_data
with codecs.open(input_file, 'r', encoding='utf-8') as f:
File "/home/rfjiangfdu/anaconda3/envs/python3.6/lib/python3.6/codecs.py", line 897, in open
file = builtins.open(filename, mode, buffering)
FileNotFoundError: [Errno 2] No such file or directory: './Data/NER_Data/dev.txt

还是要请教您个报错的问题

为什么我在运行run_ner.py的文件时 报错 Process finished with exit code -1073741819 (0xC0000005)
这个您知道为什么吗

感谢分享，我想问一下，三元组回标有相应的代码吗？

原始数据是只有问答对的，将知识图谱里面的数据标注在问答对上，这一部分代码不知道您有没有提供呀？看到您对应的文章里，是说2016NLPCC第一名是这样做的，但是我在它的代码里也没有找到这一部分哎。
谢谢啦~

kbqa_test.py跑的时候一直报错如图所示

美国队长识别为LOC？

如题，疑惑。

请问一下run_ner.py部分有没有迁移学习的接口？

本来epoch设置为50的，结果跑到47的时候，停电了，现在有第46次的模型，有接口直接从46次的模型接着开始训练吗？

相似度计算的训练语料存在问题

直接使用问句和属性匹配学习后的结果变成了问某个实体对应的任意属性最后返回的都是同一个结果，如：
question: 姚明的国籍
['B-LOC', 'I-LOC', 'O', 'O', 'O']
['姚明']
answer: 2002年 / 第1轮 / 第1顺位
question: 姚明的个人资料
['B-LOC', 'I-LOC', 'O', 'O', 'O', 'O', 'O']
['姚明']
answer: 2002年 / 第1轮 / 第1顺位

你好，想请教一下关于评价指标的问题

代码里计算的是accuracy，论文中提到“官方评测最终结果采用的评价指标为平均F1 值。由于
每个样例的标准答案和候选答案均为集合的形式，因此每个样例都可以得到一个F1 值，最后取所有样例F1 值的平均”，但是我发现NLPCC数据集中每个样例的标准答案都只有一个啊，与论文中“每个样例的标准答案和候选答案均为集合的形式”不符，因此也无法计算F1值，这是怎么回事呢？我在可供查阅的资料中都找不到如何在这个数据集中计算F1值的方法，因此只好请教您一下，能得到您的帮助就太好了

你好，感谢你提供的代码，我看了你的kbqa_test.py，发现一个问题 你对句子做命名实体识别后没有进行实体链接。不知道你是怎么解决这个问题的？

请问 NLPCC ICCPOL 2016 KBQA 数据集 在哪儿下载？

官网给的 百度网盘好像无法下载了。。。您方便给一个下载链接吗？ 谢谢

CCKS 2018 task4的支持

对于CCKS 2018 task4开放领域的中文问答任务有没有什么好的解决方案，相比于NLPCC任务，这个任务增加了少量的图谱二级跳转问答

run_ner.sh怎么训练？

run_ner.sh训练不了，
运行后这样显示：

这是什么意思

怎么多线程并行预测数据啊？

为什么你预测的输入和输出要使用队列和多线程，又设置Queue(maxsize=1)，这样不矛盾吗？

need file

no ./Config/NER/ner_data.conf , how did you run it ?

你好，我下载了你的项目，但在运行run_ner的时候总是会卡在Saving checkpoint 0 to....这里，请问是什么原因呢？可不可以提供一下你训练好的模型呢？

你好，我下载了你的项目，但在运行run_ner的时候总是会卡在Saving checkpoint 0 to....这里，请问是什么原因呢？可不可以提供一下你训练好的模型呢？

项目是在windows系统还是Ubuntu系统开发？

项目是在windows系统还是Ubuntu系统开发？

checkpoint in terminal_predict.py

How to get checkpoint file used in terminal_predict.py

您好，想问下命名实体识别部分的问题

我想问下命名实体识别部分的主要运行哪个代码，命名实体的模型训练模型是哪个代码，代码能力比较差，希望能够得到回答，谢谢！

请问代码是参考的哪篇论文？论文传送门打不开

q_t_a_testing_predict.txt这个文件怎么生成的？

执行python kbqa_test.py报错，Data/NER_Data/q_t_a_testing_predict.txt找不到，请问这个文件怎么生成的？谢谢

model_fn中对eval的评估指标

你好，想请问在model_fn对验证集定义评估指标的时候，选择的label_list下标是：
indices = [2, 3, 4, 5, 6, 7]
可是在NERProcessor中对应的标签是：
["O", "B-PER", "I-PER", "B-ORG", "I-ORG", "B-LOC", "I-LOC", "X", "[CLS]", "[SEP]"]，能够帮忙解释一下吗？

运行kbqa_test.py时提示没有文件q_t_a_testing_predict.txt

NER和SIM的模型都已经训练好了，最后一步运行kbqa_test.py时提示没有文件q_t_a_testing_predict.txt。我简单读了代码，似乎文件内容应该是question, entity, attribute, answer, ner的五元组，请问要如何获取这个文件呢？能否提供一个生成这个文件的脚本？

run_ner.sh的一些问题

运行run_ner.sh，报错，提示./Output/NER \label_list.pkl 找不到

关于我在使用这个项目过程中遇到的一些小细节

在使用./run_ner.sh运行时，总是报错说我没有安装tensorflow库，但是实际上我安装了的，这是因为该文件使用的是python运行run_ner.py，但是在一般的linux系统，python默认为python2而不是python3，所以如果你也存在这个问题，那么你可以使用vim打开run_ner.sh文件，将第一行的python改为python3；
此时，你会发现仍然报错说没有train.txt文件，这是因为在construct_dataset.py文件中实际生成的文件名为training.txt而不是train.txt，所以你可以将run_ner.py第208行的train.txt改为training.txt，这样就可以正确运行了

还有一个问题啊，你知道句子相似度的训练样本哪里有啊，I need more。

rt

请问运行kbqa_test.py需要什么准备工作呢？

我现在运行kbqa_test.py会提示很多文件找不到的错，有的是文件名不匹配，有的是压根不存在，从别的代码也没有找到可以生成这些文件的的地方，能否请您详细指导一下怎么跑通这个代码呢？谢谢。另外请问这个代码运行成功是相当于一个端到端的接口吗？就是我可以输入一个问题，直接输出一个答案给我

你的tensorflow是gpu版本吗

sim部分用cpu版本的tensorflow可以训练和测试，用gpu版本会报错，请问你用的是gpu版本的tensorflow吗

请问关于KBQA中的实体链指？

作者你好，感谢分享。
请问在这个问题中，你考虑到KBQA的实体链指的问题了吗？

请问kbqa_test.py，这个报错是什么原因呢，我的load_dtbase已经运行成功了

这个项目是怎么运行的，初次接触，不懂如何运行run之前运行那些代码以及kbqa之前需要运行那些代码

我已经配置好了项目所需的环境，成功运行了./Data/Sim_Data/下的construct_dataset.py,construct_dataset_attribute.py,和load_dbdata.py以及triple_clean.py.，load_dbdata.py文件。后续就不知道要运行那些代码了，一运行就报错。

您好，想问一下报错的问题

absl.flags._exceptions.ValidationError: Flag --data_dir must have a value other than None.
absl.flags._exceptions.IllegalFlagValueError: flag --data_dir=None: Flag --data_dir must have a value other than None.
这两个错误是什么意思啊 不太懂 求指点