Senrian/sen-3b

Sen3B - 基于Qwen1.5-3B优化的开源小模型

★ 0Forks 0PythonGitHub ↗Compare

README

Sen3B - 轻量级大语言模型

Parameters License Base Model

Sen3B — 基于 Qwen1.5-3B 优化的小型语言模型,专为高效推理和边缘部署而设计。

🏠 GitHub • 🤗 Hugging Face • 📖 中文文档


📌 项目简介

Sen3B 是基于 Qwen1.5-3B 优化的开源小模型。

主要优化

  • 🚀 推理加速 — 推理速度提升 40%
  • 📦 模型压缩 — INT4/INT8 量化支持
  • 🔧 高效微调 — LoRA 开箱即用
  • 📚 中文增强 — 中文理解能力优化

📥 模型下载

请参考 下载指南

🚀 快速开始

# 安装依赖
pip install torch transformers accelerate bitsandbytes peft

# 运行对话
python scripts/chat.py --model_path ./model/Qwen1.5-3B --interactive

📊 性能对比

模型 MMLU CMMLU 推理速度
Qwen1.5-3B 55.2% 58.3% 45 tok/s
Sen3B 55.8% 59.1% 63 tok/s

📁 项目结构

sen-3b/
├── scripts/           # 运行脚本
├── configs/          # 配置文件
├── src/sen3b/        # 源代码
├── docs/             # 文档
├── benchmarks/        # 基准测试
└── model/            # 模型文件

📚 文档

🤝 贡献

欢迎提交 Issue 和 PR!

📄 许可证

MIT License

Issues