在CMeEE数据上报错 about w2ner

[ljynlp]

应该是处理完后句子长度太长了，超过了设定的1000导致报错。如果句子里面英文单词过多的话不建议把单词拆成字母，不然句子很可能过长导致程序无法运行。

[nlper01]

应该是处理完后句子长度太长了，超过了设定的1000导致报错。如果句子里面英文单词过多的话不建议把单词拆成字母，不然句子很可能过长导致程序无法运行。

好的，我试试吧英文句子删掉试试。另外，这个1000可以修改吗？我尝试修改了这里的1000
dis2idx = np.zeros((1000), dtype='int64')还是一样的错误

[ljynlp]

即使这里修改了，还是会超出BERT的512个token的限制，同样会报错，最好直接将超出长度的句子处理掉。

[nlper01]

即使这里修改了，还是会超出BERT的512个token的限制，同样会报错，最好直接将超出长度的句子处理掉。

好的，谢谢

[nlper01]

即使这里修改了，还是会超出BERT的512个token的限制，同样会报错，最好直接将超出长度的句子处理掉。

你好，句子长度大于500个token的我都处理掉了，又报新的越界错误，这怎么解决呢？是不是因为我数据集里面的实体类别比代码里面原来设定的类别数多的问题？

[ljynlp]

可能是你数据处理的有问题，最好查验一下每个样本中的实体index与对应文本中的内容是否一致。