destwang / dcn Goto Github PK

请问作者，我从训练数据集中发现【unk】，请问添加unk的目的是什么？

Hi,can you release your code recently?

论文描述loss是关于 s(x,y) 的分段函数，然而代码中似乎是按照 -logP(Y/X)来计算的。

I don't know how do you generate data. After I train my model, I can't get predictions.

在运行pyhton eval_spell_for_training_sent.py时，报错：

运行python eval_spell_for_training_sent.py时报错如下：

您好，在运行sh train.sh了训练模型完成之后，如何在SIGHAN上测试模型得到您展示的结果呢？

The dataset link need username and code, but i only see the code.
Can you provide the username to download the train set?
Thank you.

大神你好，我看之前的issue说要开放预训练代码，请问有这个计划吗？
谢谢

In the file transformers/modeling_dcn.py, line 550.

self.word_pinyin_idx = torch.tensor(self.word_pinyin_idx, device="cuda")

I think device="cuda" would cause lots of bugs. Maybe you can fix it, or maybe I'm wrong. Thanks.

您好，我这边本地测试，用的2080TI，12G显存，batch size只能设置为6才不会OOM，这正常吗？您这边用的什么机器可以跑bz=32?

您好，感谢您公开了代码，我按照您的流程跑了一下，只是batch_size设置不同，到那时结果大概低一个百分点；另外分析sighan15的测试集结果，发现Truth数据集中有一些错误，比如： (pid=A2-1311-2) 这女人告所他的大学在那里。 这里预测出来告诉，但是truth中实际上是没有这个错误的，所以数据集是没有经过清洗是吗？

Traceback (most recent call last):
File "train_DCN.py", line 511, in
main()
File "train_DCN.py", line 228, in main
model = DCNForMaskedLM.from_pretrained(
File "/home/zhaojianhui/DCN-main/transformers/modeling_utils.py", line 671, in from_pretrained
model = cls(config, *model_args, **model_kwargs)
File "/home/zhaojianhui/DCN-main/transformers/modeling_dcn.py", line 1124, in init
self.cls = BertOnlyMLMHead(config)
File "/home/zhaojianhui/DCN-main/transformers/modeling_dcn.py", line 586, in init
self.predictions = BertLMPredictionHead(config)
File "/home/zhaojianhui/DCN-main/transformers/modeling_dcn.py", line 543, in init
self.pinyin_embeddings = nn.Embedding(config.pinyin_vocab_size,
AttributeError: 'BertConfig' object has no attribute 'pinyin_vocab_size'

论文中的最好表现是需要在wiki data上预训练，这部分预训练具体是咋做的，数据是哪些，可以答疑解惑一下么。。

********* Evaluation Test sighan15 Sentence-level ************
1100 1100
detect_sent_precision=0.756432, detect_sent_recall=0.801818, detect_Fscore=0.778464
correct_sent_precision=0.728988, correct_sent_recall=0.772727, correct_Fscore=0.750221

结果接近没有预训练的Roberta-DCN，batch_size 为30.

如题，是直接在train.txt上训练，然后在sighan15 数据集上验证结果么，为啥子不用切分train.txt之类的操作

您提供的 train.txt 是上图的四个数据集吗？ 这四者加起来有 277,803 条数据，但是 train.txt 有 28 万多，请问多出来的哪里的呢？期待回复