Mistral持续预训练的脚本是否支持pp>=2？ about pai-megatron-patch

[jerryli1981]

收到，请问您是按照Quick Start中的Mistral的流程测试的，然后在convert的时候发现PP>1有问题是吧？

[jerryli1981]

我刚测试了下，我跑如下的PP=2的convert脚本并没有报错，您是不是再参考下QS里面的流程
sh model_convertor.sh ../../../ /mnt/mistral-ckpts/Mistral-7B-v0.1 /mnt/mistral-ckpts/Mistral-7B-v0.1-tp4-pp2 4 2 mistral-7b 0 false

[kobayashikanna01]

收到，请问您是按照Quick Start中的Mistral的流程测试的，然后在convert的时候发现PP>1有问题是吧？

您好，我是按照Megatron-LM-Dense模型训练流程的教程执行的。

转成mg格式的指令是sh model_convertor.sh ../../../ /mnt/mistral-ckpts/Mistral-7B-v0.1 /mnt/mistral-ckpts/Mistral-7B-v0.1-tp1-pp4 1 4 mistral-7b 0 false

但是启动训练脚本会出错。

====

同时，我还发现一个问题，目前我没法确定原因：
我在tp=4，pp=1的配置下，检验持续预训练的正确性。我使用的是Mistral-7B模型，数据只用了SlimPajama随机挑选的30G子集。batch_size我设置的是1M tokens，seq_len和padding_len均为4096。warmup 100步。

我发现：训练时前几步返回的loss 在4.0~5.0，但是能在50步之内下降到1.7左右。我通过打印token_id和word_emb，确认分词结果、加载模型参数均为正确。
我不能确定前几步loss值显著偏高的原因。

[jerryli1981]

PP>1问题已修复，烦请pull下最新的代码，这是PR，烦请Review：#185