搭建demo返回错误的结果 about video-llama

[PeterMao11]

返回demo结果

[lixin4ever]

llama_model: "vicuna-7b-delta-v0"

llama_model应该设置为vicuna-7b而不是vicuna-7b-delta的目录, 至于如何将vicuna delta weight转变为vicuna weight, 请参考: https://github.com/DAMO-NLP-SG/Video-LLaMA/tree/main#pre-trained-language-decoder

[PeterMao11]

在https://huggingface.co/openlm-research/open_llama_7b 下载original LLaMA 模型，python apply_delta.py
--base llama_7b
--target vicuna-7b
--delta vicuna-7b-delta-v0进行转换

但返回结果如下

[lixin4ever]

你这个是open_llama, 不是llama, llama权重需要去官方仓库填写表格申请下载

[PeterMao11]

使用Video-LLaMA-BiLLA中文模型，除了llm和chpt修改配置，例如qformer,clip这些模型需要修改配置么

[lixin4ever]

不需要的，所有实验里visual encoder (ViT & Q-former)都是用的同一套，但是有一个问题就是中文模型目前我们没有添加对audio输入的支持 (也就是没有AL分支)，如果你需要使用Video-LLaMA-BiLLA的话，只能尝试运行VL-only Video-LLaMA, 可以参考一下demo_video.py和video_llama_eval.yaml