[Question]: qwen推理显存不足，如何设置多卡推理 about paddlenlp

[w5688414]

可以参考下面：

PaddleNLP/llm/glm/predict_generation.py

Line 70 in 1ffa290

tensor_parallel_rank = hcg.get_model_parallel_rank()

[w5688414]

可以使用recompute和flash attention。如果要多卡推理，需要对参数进行一定的修改，可以参考：

PaddleNLP/examples/benchmark/peft/paddle/benchmark.py

Line 104 in 4039897

model = AutoModelForCausalLM.from_pretrained(

然后执行：

python -m paddle.distributed.launch --gpus "0,1,2,3" your_script.py 

[zhaogf01]

可以使用recompute和flash attention。如果要多卡推理，需要对参数进行一定的修改，可以参考：

PaddleNLP/examples/benchmark/peft/paddle/benchmark.py

Line 104 in 4039897

model = AutoModelForCausalLM.from_pretrained(

然后执行：

python -m paddle.distributed.launch --gpus "0,1,2,3" your_script.py 

我采用的是4卡推理，tensor_parallel_degree设置的2，请问tensor_parallel_rank应该如何设置？设置为0的时候会有以下报错：

[zhaogf01]

可以参考下面：

PaddleNLP/llm/glm/predict_generation.py

Line 70 in 1ffa290

tensor_parallel_rank = hcg.get_model_parallel_rank()

好的，感谢。