- 下载模型
# 7B 模型
git clone -b 7B https://code.openxlab.org.cn/SHULPT/SCDM.git
# 20B 模型
git clone -b 20B https://code.openxlab.org.cn/SHULPT/SCDM.git
- LMDeploy 部署 LLM 类 OPENAI 服务
lmdeploy serve api_server {path/to/model} --server-port 23333
- 运行 demo.py
python demo.py