chenxiaoyouyou / bert-bilstm-crf-pytorch

使用谷歌预训练bert做字嵌入的BiLSTM-CRF序列标注模型

Bert-BiLSTM-CRF-pytorch

使用谷歌预训练bert做字嵌入的BiLSTM-CRF序列标注模型

本模型使用谷歌预训练bert模型（https://github.com/google-research/bert）， 同时使用pytorch-pretrained-BERT（https://github.com/huggingface/pytorch-pretrained-BERT） 项目加载bert模型并转化为pytorch参数，CRF代码参考了SLTK（https://github.com/liu-nlper/SLTK）

准备数据格式参见data

模型参数可以在config中进行设置

运行代码

python main.py train --use_cuda=False --batch_size=10

pytorch.bin 百度网盘链接 链接:https://pan.baidu.com/s/160cvZXyR_qdAv801bDY2mQ 提取码:q67r 

作者也是新手，很希望看到的大家能够提意见，共同学习

bert-bilstm-crf-pytorch's Issues

CRF 的几点问题

https://github.com/CLUEbenchmark/CLUENER2020/blob/da6631c21d050309117ea28640c757bb46a1255e/pytorch_version/models/crf.py#L41-L42

这里是不是应该写成这样?

self.transitions.detach()[:, :self.tag_dictionary[self.START_TAG]] = -10000

还有这里, 既然tags已经是包含[CLS]和[SEP]的标签序列了, 为什么还要分别在左边和右边cat上[CLS]和[SEP]? 有点不解.

https://github.com/CLUEbenchmark/CLUENER2020/blob/da6631c21d050309117ea28640c757bb46a1255e/pytorch_version/models/crf.py#L133-L150

    def _score_sentence(self, feats, tags, lens_):
        start = torch.LongTensor([self.tag_dictionary[self.START_TAG]]).to(self.device)
        start = start[None, :].repeat(tags.shape[0], 1)
        stop = torch.LongTensor([self.tag_dictionary[self.STOP_TAG]]).to(self.device)
        stop = stop[None, :].repeat(tags.shape[0], 1)
        pad_start_tags = torch.cat([start, tags], 1)
        pad_stop_tags = torch.cat([tags, stop], 1)
        for i in range(len(lens_)):
            pad_stop_tags[i, lens_[i] :] = self.tag_dictionary[self.STOP_TAG]
        score = torch.FloatTensor(feats.shape[0]).to(self.device)
        for i in range(feats.shape[0]):
            r = torch.LongTensor(range(lens_[i])).to(self.device)
            score[i] = torch.sum(
                self.transitions[
                    pad_stop_tags[i, : lens_[i] + 1], pad_start_tags[i, : lens_[i] + 1]
                ]
            ) + torch.sum(feats[i, r, tags[i, : lens_[i]]])
        return score

没有使用BERTtokenizer,来处理OOV问题对于没有见过的词直接用[unk]表示，是不是效果不会那么好。

顺带请教一下，如果使用BERT的tokenzier(英文情况下)，会切成更细的词如##ing，这样句子的长度改变了，但是lable长度却是一样，请问要怎样处理呢，谢谢

请问训练完模型如何预测？

有没有预测相关的脚？

pytorch.bin链接提取码出错

可以麻烦您再给一下pytorch.bin的下载链接吗！我进不去提取码出错

请问单字符标签怎么表示? 没有 S tag?

报错：OSError 22

OSError: [Errno 22] Invalid argument: 'result\\2022-02-10#11:07:43--epoch:0'
运行了一下，结果到这一步就不动了

请问要怎么预测

Bert训练完之后 要如何测试呢

您好，为什么我训练出来的模型对所有的字符都预测为‘O’标签呢？是哪个地方设置有错误吗？

pytorch-pretrained-BERT can't find, it's 404

如何避免BERT模型内存过大的问题

    self.embed = BertModel.from_pretrained('./bert-base-uncased')  # bert 预训练模型

这样做应该是吧整个BERT视作了Embed层，我在训练时使用了Bert的768维的词向量，导致内存占用非常高，50G+，请问有什么方法可以避免占用过大的内存吗，譬如直接使用词嵌入而不嵌入整个模型？

很明显运行有问题，逻辑不对，和官方代码对比了一下，同样的数值跑出来的结果都对不上

https://pytorch.org/tutorials/beginner/nlp/advanced_tutorial.html
附上官方链接

why set the path_score as None. How can i get path_score!

why set the path_score as None. How can i get path_score!

为什么要tagset+2

    self.liner = nn.Linear(hidden_dim*2, tagset_size+2)

报错OSError 22

为什么会有Warning: masked_fill_ received a mask with dtype torch.uint8，导致看不到结果

使用 gpu运行出现TypeError: 'generator' object is not subscriptable？

你好，我使用gpu运行您的代码时出现以下错误，我的pytorch 版本是0.4.1：
self.check_forward_args(input, hx, batch_sizes)
File "/home/nlp/anaconda2/envs/Bert-BiLSTM-CRF-pytorch/lib/python3.5/site-packages/torch/nn/modules/rnn.py", line 146, in check_forward_args
check_hidden_size(hidden[0], expected_hidden_size,
TypeError: 'generator' object is not subscriptable

模型占显存在训练过程中为什么会在增长？

？

pytorch_pretrained_bert

这个repo好像已经不在了，能麻烦提供一下吗？

pytorch.bin連結消失

readme.md上的pytorch.bin的連結已經失效了
求幫助

模型预测精度

想问下模型在测试集的精度大概如何？ 以及做词性标注大概能到多少精度呀？ 谢谢！

TypeError: 'NoneType' object is not callable

在这一步报错
File "/data/Bert-BiLSTM-CRF-pytorch/model/bert_lstm_crf.py", line 47, in forward
embeds, _ = self.word_embeds(sentence, attention_mask=attention_mask, output_all_encoded_layers=False)
TypeError: 'NoneType' object is not callable
请问是什么原因