genggui001 / megatron-deepspeed-llama Goto Github PK

您好，有联系方式/群可以交流一下嘛，最近也在做类似的事情

求脚本代码

First of all, thank you for your sharing. May I ask whether this code support pipeline parallelism?

请问你是如何把LLAMA从HF的存储结构转换成Meg-DS的结构用于训练的？有脚本吗?

First of all, thank you for your work. May I ask if this code can now be used to train LLAMA normally?

大佬，这个兼容llama2吗？

用readme中提供的百川模型，处理数据的时候提示模型的vocab_size是64000，pad-vocab-size-to到32128报错，然后修改脚本不进行pad可以处理完数据

hello，你好，我这里遇到了一个问题，
我用bf16的精度训练llama，
模型没有更新权重前loss为2，
在第一次更新权重后，模型的loss变为10，然后缓慢下降，（下降速度就跟随机初始化的权重一样）。
我打印出第一次更新前和更新后的权重对比，差异比较大
请问你有遇到类似的问题吗？
你用bf16能正常加载llama继续训练吗