关于推理预测 about qwen-vl

[elesun2018]

请问huggingface中多出的这三个文件作用，应该如何使用。

[elesun2018]

用lora微调qwen-vl模型，用peft merge_and_unload save_pretrained保存成huggingface模型文件
用Qwen-VL# python web_demo_mm.py加载这个huggingface模型文件进行推理，报错：
assert generation_config.chat_format == 'chatml', _ERROR_BAD_CHAT_FORMAT
AssertionError: We detect you are probably using the pretrained model (rather than chat model) for chatting, since the chat_format in generation_config is not "chatml".
If you are directly using the model downloaded from Huggingface, please make sure you are using our "Qwen/Qwen-7B-Chat" Huggingface model (rather than "Qwen/Qwen-7B") when you call model.chat().
我们检测到您可能在使用预训练模型（而非chat模型）进行多轮chat，因为您当前在generation_config指定的chat_format，并未设置为我 们在对话中所支持的"chatml"格式。
如果您在直接使用我们从Huggingface提供的模型，请确保您在调用model.chat()时，使用的是"Qwen/Qwen-7B-Chat"模型（而非"Qwen/Qwen-7B"预训练模型）。

请问如何修改，谢谢！

[elesun2018]

这三个文件是要直接拷贝近huggingface模型文件output_qwen_hf ？

[elesun2018]

请问按照readme lora合并保存模型

没看到加载预训练路径的代码，AutoPeftModelForCausalLM这个会自动下载huggingface上的 QwenVL预训练模型吗，他是根据哪个配置选项自动下载QwenVL还是Qwen chat模型文件的？

[elesun2018]

请问什么是ChatML格式

[elesun2018]

推理时发现跟没训练几乎没区别
lora训练后数参数，如何知道正在合并到了新的整体模型中了

谢谢

[elesun2018]

能否帮忙解答一下，谢谢

[fanshuaiyao]

这三个文件是要直接拷贝近huggingface模型文件output_qwen_hf ？

我是这个干的 也成功了 但是预测的效果很不好

[elesun2018]

请问xi现在是否支持vllm加速
https://docs.vllm.ai/en/latest/models/supported_models.html

如何才能支持VLLM加速，谢谢

[elesun2018]

@fanshuaiyao 跟这个有关系么？

[elesun2018]

请问如何将LLM（lm_head）输出概率值shift_logits转换成文本答案text。
经过：
predict_ids = np.argmax(results.shift_logits, axis=-1)
text = tokenizer.batch_decode(predict_ids, skip_special_tokens=True)
发现text 绝大部分为乱码显示。
谢谢！

[elesun2018]

能否解答一下上述几个问题，谢谢！

[elesun2018]

发现huggingface预训练模型中tokenizer的tokenizer_config.json与fientune tokenizer.save_pretrained保存的内容不太一致！

clean_up和model_max_length
请问这些参数不同有没有影响，谢谢！

[elesun2018]

能否解答一下上述几个问题，谢谢！

[elesun2018]

能否解答一下上述几个问题，谢谢！