noooop/zerollama

使用zmq的大语言应用微服务框架

★ 5Forks 0PythonGitHub ↗Compare

README

Microservices framework for large language model application linked by Zeromq

名字起的相当俗气,俗气就对了,让人一眼就知道知道这个库是做啥的

使用zmq的大语言应用微服务框架

文档&教程

安装&配环境

应用

  1. 与大模型对话 客户端
  2. 与大模型对话 webui
  3. 检索增强生成 (RAG) (work in progress!)
  4. 使用 vllm
  5. OCR (work in progress!)
  6. multi-agent

支持的推理框架

Chat 模型

Retriever(Embeddings) 模型

支持的模型

Chat 模型

Retriever(Embeddings) 模型

Reranker 模型

Vision-Language Multimodal 模型

Super Resolution 模型

Optical Character Recognition 全家桶

Text Line Detection

Text Recognition

Document Layout Analysis

Reading Order Detection

Table Structure Recognition

Text to Image 文生图模型

相关模型

  • controlnet-union (hold)
  • controlnet_aux (hold)

DepthEstimation

Contribute

贡献代码请交逻辑清晰思路、简单直接的代码、不要有魔法,甚至可以牺牲一部分性能换取可读性

代码是人读的,也是人维护的,顺便机器可以运行

Despite its immensity, it is both simple and elegant, fulfilling its designer's dream to create ‘an enormous object drawn as faintly as possible’.

  • New Concept English Developing Skills Lesson 17 The longest suspension bridge in the world

Contributors

noooopTimeInaBottle01

Issues