大神您好，我想请教一下vocab.pkl文件是怎么得到的 about chinese-text-classification-pytorch

[649453932]

这个是词表，看一下utils.py文件中36至40行，若词表不存在，就会通过build_vocab函数自动创建，我这里保存成pkl格式了。

[lili1234567890]

没有词表时，build_vocab函数不创建，报错
Traceback (most recent call last):
File "utils.py", line 134, in
word_to_id = pkl.load(open(vocab_dir, 'rb'))
FileNotFoundError: [Errno 2] No such file or directory: './THUCNews/data/vocab.pkl'

[649453932]

提取预训练词向量我忘记加构建词表这个逻辑了...，现在改好了，新的utils.py文件已经上传了

[lili1234567890]

我没有sgns.sogou.char的字符列表，可以随机生成，不使用吗？
Traceback (most recent call last):
File "utils.py", line 145, in
f = open(pretrain_dir, "r", encoding='UTF-8')
FileNotFoundError: [Errno 2] No such file or directory: './THUCNews/data/sgns.sogou.char'

[649453932]

python run.py --model TextCNN --embedding random

[lili1234567890]

哦，对哦，我忘了，你的代码是可以的，谢谢

[lili1234567890]

我能再请教个问题吗？这种错误要怎么改
Traceback (most recent call last):
File "run.py", line 42, in
dev_iter = build_iterator(dev_data, config)
File "/home/zgy/wll/Tibetan-Text-Classification-Pytorch/utils.py", line 120, in build_iterator
iter = DatasetIterater(dataset, config.batch_size, config.device)
File "/home/zgy/wll/Tibetan-Text-Classification-Pytorch/utils.py", line 80, in init
if len(batches) % self.n_batches != 0:
ZeroDivisionError: integer division or modulo by zero

[649453932]

你的n_batches等于0了，检查一下你的数据量和batch_size的大小

[lili1234567890]

开心，弄好了

[lili1234567890]

最后再打扰您一下下，为什么运行同样的utils.py，我CNN模型的时候成功了，跑RNN等模型的时候就报以下错误
Traceback (most recent call last):
File "run.py", line 40, in
vocab, train_data, dev_data, test_data = build_dataset(config, args.word)
File "/home/zgy/wll/Tibetan-Text-Classification-Pytorch/utils.py", line 37, in build_dataset
vocab = pkl.load(open(config.vocab_path, 'rb'))
_pickle.UnpicklingError: invalid load key, '\xff'.

[649453932]

这个是在调用模型之前执行的，是不是词表文件更改了，你把词表删了再重新生成一次试试？

[lili1234567890]

我删除了，然后重新生成，还是报同样的错误

[649453932]

那我也不知道了，我这边没有这种问题。。。

[lili1234567890]

好吧，我再弄弄吧

[649453932]

如果实在找不到问题所在，你可以把词表存成txt格式，直接open就行了

[lili1234567890]

好的呀，我能加你个联系方式吗？在这聊，好像不太好

[lili1234567890]

15682766780，电话微信同一个，或者QQ1：1335502737