ziya-llama-13b-medical-lora 量化推理怎么使用？ about medicalgpt

[shibing624]

训练时用的load_in_8bit=False，量化推荐用llama.cpp转为int4：1）先merge base model, 2) 再用llama.cpp转为ggml，3）转int4。

另外，预测load_in_8bit=True没测试，我看看啥问题

[Nisoka]

@shibing624 感谢大神的回复， 如果我想训练13B（Lora 或者 Ptuning-v2）， 用4块4090可行么， 或者更具性价比的方案？例如4块V100, 1块A800?

[shibing624]

单卡显存大于25G可以跑lora

[Nisoka]

那就是4090 跑 13B 不太合理？ 那两块V100是否比较合适

[shibing624]

4090和V100都可以，用fp16

[muchengxuev587]

我也是做inference出现这种乱码，很诡异

[shibing624]

update generate config: b328f87