yangjianxin1 / cpm

Easy-to-use CPM for Chinese text generation（基于CPM的中文文本生成）

Hi there 👋, I'm Yang Jianxin

I'm a NLPer interested in Large Language Model and graduated from SYSU with a master's degree.

In my free time, I like to write technical blogs on [Wechat Official Accounts: YeungNLP] and [Zhihu: 红雨瓢泼]

🔭 Experiences:

• Shopee, responsible for building NLP algorithm ability about Customer Service. (from 2022-04 to now)
• Tencent, responsible for building NLP algorithm ability about Product Understanding. (from 2021-06 to 2022-04)
• Alibaba, Internship at Alibaba (from 2020-06 to 2020-09).

⚙ Here are some my public projects:

Project	Description	Code
Firefly	One-stop training for LLMs. Some achievements: 1. firefly-llama2-13b ranked 3rd among all 13B models on Open LLM Leaderboard, only 0.5 points less than 1st. 2. firefly-llama-30b ranked 10th among all 30B models on Open LLM Leaderboard trained with single V100. 3. firefly-baichuan-13b achieves over 1.63 million downloads. 4. firefly-qwen1.5-en-7b-dpo improves 7.21 points compared with the official chat model. 5. firefly-gemma-7b improves 9.37 points compared with the official chat model.
GPT2-chitchat	Chinese GPT2 for chitchat
Firefly-LLaMA2-Chinese	Chinese Llama2 with efficient and effective training method.
LongQLoRA	Efficient and Effective method for extending context length of Llama2 to 8192 with single V100. Technical Report
CPM	Chinese composition model based on CPM
CLIP-Chinese	Chinese CLIP model trained with 1.4 million image-text pairs
ClipCap-Chinese	Chinese image caption model based on clip and mengzi
OFA-Chinese	Chinese multi-modal unified pre-training model
LLMPruner	Prune vocabulary of LLMs to save memory in training.

📁 Here are some my technical blogs:

• 📝 使用Firefly在单卡V100上对Qwen1.5进行SFT和DPO，大幅超越Qwen1.5和Gemma
• 📝 图解大模型推理优化之KV Cache
• 📝 Mixtral-8x7B MoE大模型微调实践，超越Llama2-65B
• 📝 LongQLoRA：单卡高效扩展LLaMA2-13B的上下文长度
• 📝 详解基于调整RoPE旋转角度的大模型长度外推方法
• 📝 图解RoPE旋转位置编码及其特性
• 📝 QLoRA轻量级增量预训练方案，及汉化Llama2的实践
• 📝 源码解析ChatGLM2多轮对话训练方法的不足，以及改进方法
• 📝 微调百川Baichuan-13B保姆式教程，手把手教你训练百亿大模型
• 📝 QLoRA文章解读 & 单卡高效微调bloom-7b1
• 📝 Firefly(流萤): 中文对话式大语言模型
• 📝 LLMPruner：大语言模型裁剪工具

cpm's Issues

关于生成时的加速

我打断点看了下，没有用到gpt2的past_key_values机制，博主后面有空可以改进一下，应该能加速不少

Preprocess.py 的 53-63行感觉有点问题

       1  win_size = args.win_size
      2  step = args.step
      3  start_index = 0
     4   end_index = win_size
     5   data = token_ids[start_index:end_index]
      6  train_list.append(data)
      7  start_index += step
      8  end_index += step
      9  while end_index+50 < len(token_ids):  # 剩下的数据长度，大于或等于50，才加入训练数据集
          10  data = token_ids[start_index:end_index]
          11  train_list.append(data)
          12  start_index += step
          13  end_index += step

假如tokens长度621
执行完8行时， start_index =200， end_index =400， train_list保存到200
进入循环，第一次执行到13行，start_index =400， end_index =600， train_list保存到400
判断600+50 > 621 退出，train_list保存到400，400-621 被遗弃

假如tokens长度651
执行完8行时， start_index =200， end_index =400， train_list保存到200
进入循环，第一次执行到13行，start_index =400， end_index =600， train_list保存到400
第二次执行到13行，start_index =600， end_index =800， train_list保存到600
判断800+50 > 621 退出，train_list保存到600，600-651 被遗弃
你这个代码会把tokens的最后50 到step+50-1 token删除，感觉不是你说的 剩下的数据长度，大于或等于50，才加入训练数据集

申请下载的只有large，你用的small在哪下载的

请问一下那个CPM源码的CPM-small&CPM-medium两个模型的训练参数怎么找不到，申请下载的只有large，你用的small在哪下载的，

请问pretrained_model怎么加载原版CPM的参数呢？

如果重新训练模型，输入的tokens的向量表示的随意初始化的还是。。。？

微调OOM问题

我使用双卡3090-24G加载了官方large模型进行微调，但是我看代码里面会对OOM进行捕获，看显存占用也的确是有规律的某个瞬间显存吃满，1. 请问是什么原因导致这种显存现象的，2. 有OOM是正常现象吗，不会影响模型训练吗

大神，训练和生成都报错，请问这是什么问题呢

RuntimeError: CUDA error: device-side assert triggered
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.

生成文本太慢

您好，请问有什么优化方法吗？目前生成文本速度确实过慢

Crash on "poch_mean_loss = total_loss / len(train_dataloader)"

I met one question, that
"
File "/home/cx/quick_code/github_sources/CPM-main/train.py", line 298, in
main()
File "/home/cx/quick_code/github_sources/CPM-main/train.py", line 294, in main
train(model, logger, train_dataset, args)
File "/home/cx/quick_code/github_sources/CPM-main/train.py", line 184, in train
train_loss = train_epoch(
File "/home/cx/quick_code/github_sources/CPM-main/train.py", line 149, in train_epoch
epoch_mean_loss = total_loss / len(train_dataloader)
ZeroDivisionError: division by zero
python-BaseException
"

len(train_dataloader) is 0.

如何提高解码速度？

是否可以转换为onnx模型来提高速度，有相关代码就好了

用预加载模型，生成文本的时间比较长，有什么优化之道呢？

用当前项目提供的预加载模型，使用的是CPU机器，生成文本的时间比较长：
比如请求参数：title=晚霞 max_len=100，生成文本用了20s+
这个时间感觉太长，大伙用模型跑起来后，生成时间大概多长，是否有什么优化之道呢？

您好，我从CPM官网下载了pt格式的模型文件，您能分享下转换为bin格式的方法吗？感谢！

现在不用tensorboard观察数据啦？

sentencepiece 模型

请问作者你的sentencepiece 模型是自己训练的还是在哪里下载的，我看官方的sentencepiece 模型和你大小不一样，应该用的不是官方的cpm吧

CMP源码申请下载为什么只有large参数模型，为什么没有CPM-small&CPM-medium，你用的small参数模型在哪下载的

1、CMP源码申请下载为什么只有large参数模型，为什么没有CPM-small&CPM-medium，你用的small参数模型在哪下载的吗？
2、你代码中config文件下的CPM-small&CPM-medium json文件是你自己写的还是在哪下载的？
谢谢

可以分享一下Finetune的过程吗？

作者你好，可以分享一下Finetune的过程吗？

train data

您好 训练数据可以分享一下吗？呜呜呜

是否使用CPM预训练模型

清华CPM没有发布medium和small的pretrain weight，只发布了large和distill的权重，所以这个项目从头开始训练的么？

我想问一下，cmp109M那个模型在哪下载呢，去源码哪里没找到

源码不清楚呢，官网可以下载，但是好像得注册然后申请，通过了才会有下载地址

关于模型输入label的问题

您好，在gpt2这种生成模型中，输入的真实label不应该是和输入的input_ids错位吗？然后进行损失计算。 我看您代码中是没有错位的，因为什么原因呢？ 谢谢了~

有关问答对话

您好作者！
请问这个训练方法适用于问答 场景吗，类似百科维基那样的知识问答

请问这个预训练模型可以有办法转化为GPT2直接使用的模型么？

如题，请问这个预训练模型可以有办法转化为GPT2直接使用的模型么？

如何提高生成的句子是否相关性？

您好！请教一个问题。

title[sep]sentence[sep]sentence[sep]sentence[eod] 是否可以通过这种方式进行预处理？来提高句子的相关性。

训练数据

您好 训练数据可以分享一下吗？呜呜呜

在使用train.py训练模型的时候，读取预训练模型，然后进行初始化，这个好像初始化不了

在使用train.py训练模型的时候，读取预训练模型，然后进行初始化，这个好像初始化不了；我把项目主训练的作文配置文件config.json、pytorch_model.bin两个文件作为预训练文件读取，然后去训练新的模型，最后去生成新的模型生成文章的时候，内容还是作文内容。不知道我是哪里设置错误了，小白一个。

训练完后，不会生成一个总的模型文件，而是每轮训练完成后自动生成一个模型文件，这个最后在生成文章的时候，该选择哪一轮的模型作为生成模型

训练完后，不会生成一个总的模型文件，而是每轮训练完成后自动生成一个模型文件，例如我训练了10轮，训练完后，model文件里面会有epoch1-epoch10的文件夹，最后在去生成文章的时候，该选择哪一轮的模型作为制定生成文章的模型呢，

出文比较慢，有解法没？

试了一下大佬的这个模型，发现效果不错，但有一个缺点：出文慢，请问有解法没？