Sen3B — 基于 Qwen1.5-3B 优化的小型语言模型,专为高效推理和边缘部署而设计。
🏠 GitHub • 🤗 Hugging Face • 📖 中文文档
Sen3B 是基于 Qwen1.5-3B 优化的开源小模型。
- 🚀 推理加速 — 推理速度提升 40%
- 📦 模型压缩 — INT4/INT8 量化支持
- 🔧 高效微调 — LoRA 开箱即用
- 📚 中文增强 — 中文理解能力优化
请参考 下载指南
# 安装依赖
pip install torch transformers accelerate bitsandbytes peft
# 运行对话
python scripts/chat.py --model_path ./model/Qwen1.5-3B --interactive| 模型 | MMLU | CMMLU | 推理速度 |
|---|---|---|---|
| Qwen1.5-3B | 55.2% | 58.3% | 45 tok/s |
| Sen3B | 55.8% | 59.1% | 63 tok/s |
sen-3b/
├── scripts/ # 运行脚本
├── configs/ # 配置文件
├── src/sen3b/ # 源代码
├── docs/ # 文档
├── benchmarks/ # 基准测试
└── model/ # 模型文件
欢迎提交 Issue 和 PR!
MIT License