关于原始百川的infer about medicalgpt

[shibing624]

去掉 --with_prompt ， 没做sft就不需要prompt

[nuoma]

谢谢解答，但是我用 python inference.py --model_type llama --base_model ../baichuan/model --interactive

得到的结果是：
Input:北京是
Setting pad_token_id to eos_token_id:2 for open-end generation.
Response: 北京是-. GSG pup: t gTs s1g ( C T fren—-. up-c-apm-eviner不需要 followed-..ta---.-p.--hest..-..-t.很快...-号.-il-...... Be........all...........--....-...-..l.8...-.. in. until..............any.........................der............................明alled..................oul..irts.......or...... be.....ore................................... eight.......9.............ber..able..................三分.................................ides..............3......................................

[shibing624]

Input:登鹳雀楼->王之涣

你可以先了解base model 和SFT后的模型的区别。用few-shot测试base model

[nuoma]

嗯嗯我了解，只是没把这个例子贴出来，结果是一样的：
Input:登鹳雀楼->王之涣\n夜雨寄北->
Setting pad_token_id to eos_token_id:2 for open-end generation.
Response: 登鹳雀楼->王之涣\n夜雨寄北-> ((tbsds andb to,m -d
or-nings fullmm any threeardsa3/ with?ak –italsoss takes ($ushundensstatrd &.sdston;act --aaen。^@woesaredbstand

[shibing624]

更新代码，template_name=baichuan-chat兼容原版模型推理。