Pai-Megatron-Patch和Megatron-LM分别应该选择什么版本？ about pai-megatron-patch

[jerryli1981]

仔细看了一下，和23.04版本的megatron里的 forward_backward_pipelining_without_interleaving那几个函数很多参数都对不上啊。。。

报错不是发生在这里，由于您其他地方的报错，导致进入try catch中的catch部分才引起这个错误的

[wangbluo]

仔细看了一下，和23.04版本的megatron里的 forward_backward_pipelining_without_interleaving那几个函数很多参数都对不上啊。。。

[jerryli1981]

您好，我用Megatron-LM-23.04和0.5.1版本的Patch是可以跑通的啊，我用的命令是：
sh run_finetune_megatron_llama.sh dsw /workspace/Megatron-LM-23.04/ /workspace/github/Pai-Megatron-Patch-0.5.1/ 7B 1 1e-5 1e-6 2048 2049 0 fp16 2 1 sel true false false /mnt/llama2-datasets/wudao_train.json /mnt/llama2-datasets/wudao_valid.json /mnt/llama2-ckpts/Llama-2-7b-hf-to-mg-tp2-pp1 2 /mnt/output_llama2

[jerryli1981]

您第一步有执行ckpt convert吗？
cd /workspace/github/Pai-Megatron-Patch-0.5.1/toolkits/model_checkpoints_convertor/llama
sh model_convertor.sh /workspace/Megatron-LM-23.04 /mnt/llama2-ckpts/Llama-2-7b-hf /mnt/llama2-ckpts/Llama-2-7b-hf-to-mg-tp2-pp1 2 1 llama2-7b 0 false
另外您至少需要两张卡

[wangbluo]

您好，我用Megatron-LM-23.04和0.5.1版本的Patch是可以跑通的啊，我用的命令是： sh run_finetune_megatron_llama.sh dsw /workspace/Megatron-LM-23.04/ /workspace/github/Pai-Megatron-Patch-0.5.1/ 7B 1 1e-5 1e-6 2048 2049 0 fp16 2 1 sel true false false /mnt/llama2-datasets/wudao_train.json /mnt/llama2-datasets/wudao_valid.json /mnt/llama2-ckpts/Llama-2-7b-hf-to-mg-tp2-pp1 2 /mnt/output_llama2

感谢，我明天跑一下

[jerryli1981]

您好，我用Megatron-LM-23.04和0.5.1版本的Patch是可以跑通的啊，我用的命令是： sh run_finetune_megatron_llama.sh dsw /workspace/Megatron-LM-23.04/ /workspace/github/Pai-Megatron-Patch-0.5.1/ 7B 1 1e-5 1e-6 2048 2049 0 fp16 2 1 sel true false false /mnt/llama2-datasets/wudao_train.json /mnt/llama2-datasets/wudao_valid.json /mnt/llama2-ckpts/Llama-2-7b-hf-to-mg-tp2-pp1 2 /mnt/output_llama2

感谢，我明天跑一下

谢谢，有问题可以进钉钉群直接找我