关于预训练完成后合并模型及SFT的问题 about medicalgpt

[shibing624]

add bloom training_pipeline https://colab.research.google.com/github/shibing624/MedicalGPT/blob/main/run_training_pipeline.ipynb

这个是我跑完全流程的，包括各个Stage merge lora，我测试下llama。

[dadaxxxx]

我也遇到同样的问题

[shibing624]

我测试下，是只有llama有这个问题，还是bloom等也会出现？

[charryshi]

感谢，我是在LLaMA下测试出现的，使用的基础模型是您项目中例子的Ziya-LLaMA-13B-v1，bloom我没测过不确认。

[shibing624]

add bloom training_pipeline https://colab.research.google.com/github/shibing624/MedicalGPT/blob/main/run_training_pipeline.ipynb

[randyadd163]

bloom，测试最新的代码是可以的，bloom 3B没做pt，直接做的sft，模型合并成功的。

[dadaxxxx]

请求这个问题解决了么？

[charryshi]

我把缓存清理了重新把tokenizer做了一次，代码里强制了一次tokenizer.pad_token_id = 0 ，后面再运行就正常了

[1615070057]

tokenizer.pad_token_id = 0
测试可以, 这是为啥呢

[shibing624]

tokenizer.pad_token_id = 0
测试可以, 这是为啥呢

原因是llama的预训练模型，未设置pad_token和pad_token_id，SFT阶段需要padding input_ids，会造成数组越界错误。

最新代码已经fixed这个问题了。