generate_quant.py 脚本运行失败 about chinese-vicuna

[Facico]

@greatewei 可以参考我们的tool readme，里面介绍了如何使用gptq量化运行

[greatewei]

@greatewei 可以参考我们的tool readme，里面介绍了如何使用gptq量化运行

嗯，我成功训练了量化模型，但是在第三步执行 generate_quant.py文件发生了错误，缺少了gptq模块

[Facico]

我们在tool readme中Quantize LLaMA第二行，第二句话“运行下面的代码前，你需要用 pip install gptq>=0.0.2 命令来安装 gptq。”讲了如何安装gptq

[greatewei]

我们在tool readme中Quantize LLaMA第二行，第二句话“运行下面的代码前，你需要用 pip install gptq>=0.0.2 命令来安装 gptq。”讲了如何安装gptq

看到了，感谢！

[greatewei]

@Facico 你好，我遇到了一个问题，generate_quant.py脚本执行量化脚本后，效果很差，如图：

我的量化过程如下：

1. 13b-lora 与 llama13b进行合并生成一个新的模型 chinese-v-13b-hf， 这个模型测试过，能够正常的交流。
2. 执行命令 python tools/llama_quant.py /data/chat/models/chinese-v-13b-hf ptb --wbits 4 --groupsize 128 --save /data/chat/models/chinese-v-13b-hf/pyllama-4b.pt 进行了模型量化，最终输出了 pyllama-4b.pt文件
3. 执行命令python tools/generate_quant.py --model_path "/data/chat/models/chinese-v-13b-hf" --quant_path "/data/chat/models/chinese-v-13b-hf/pyllama-4b.pt" --wbits 4

是不是哪个环节出了错误