langport

兰波波特

Langport是一种开源大型语言模型服务平台。我们的目标是建立超级快速的LLM推理服务。

该项目的灵感来自LMSY/FastChat，我们希望服务平台轻巧且快速，但是FastChat包含其他功能，例如培训和评估，使其变得复杂。

核心功能包括：

• 拥抱面变压器支持。
• GGML（Llama.cpp）支持。
• 用于最先进模型的分布式服务系统。
• 通过各种解码策略进行流式生成支持。
• 批次推断以获得更高的吞吐量。
• 支持仅编码，仅解码器和编码器模型。
• 与Openai兼容的静坐API。
• 人造与兼容的API。
• 拥抱面兼容的RESTFUL API。
• 与Tabby兼容的Restful API。

支持模型体系结构

• Llama，Llama2，GLM，Bloom，Opt，GPT2，GPT NEO，GPT大型代码等。

测试模型

• NINGYU，LLAMA，LLAMA2，VICUNA，CHETGLM，CHATGLM2，FALCON，Starcoder，Wizardlm，Internlm，OpenBuddy，Firefly，Codegen，Phoenix，Phoenix，rwkv，Stablelm等。

消息

• [2024/01/13]介绍ChatProto 。
• [2023/08/04]动态批处理推断。
• [2023/07/16]支持INT4量化。
• [2023/07/13]支持生成logprobs参数。
• [2023/06/18]添加ggml（llama.cpp gpt.cpp starcoder.cpp等）工人支持。
• [2023/06/09]添加Llama.CPP工人支持。
• [2023/06/01]添加huggingface bert嵌入工人支持。
• [2023/06/01]添加拥抱面文本生成API支持。
• [2023/06/01]添加TABBY API支持。
• [2023/05/23]添加聊天吞吐量测试脚本。
• [2023/05/22]新的分布式体系结构。
• [2023/05/14]受支持的批次推理。
• [2023/05/10] Langport项目开始了。

安装

方法1：使用PIP

pip install langport

或者：

pip install git+https://github.com/vtuber-plan/langport.git 

如果您需要GGML生成工作者，请使用此命令：

pip install langport[ggml]

如果您想使用GPU：

CT_CUBLAS=1 pip install langport[ggml]

方法2：来自源

1. 克隆这个存储库

git clone https://github.com/vtuber-plan/langport.git
cd langport

2. 安装软件包

pip install --upgrade pip
pip install -e . 

快速开始

启动本地聊天API服务很容易：

首先，在终端开始工作过程：

python -m langport.service.server.generation_worker --port 21001 --model-path < your model path >

然后，在另一个终端启动API服务：

python -m langport.service.gateway.openai_api

现在，您可以通过OpenAI协议使用推理API。

启动服务器

启动单个节点聊天API服务很容易：

python -m langport.service.server.generation_worker --port 21001 --model-path < your model path >
python -m langport.service.gateway.openai_api

如果您需要单个节点嵌入式API服务器：

python -m langport.service.server.embedding_worker --port 21002 --model-path bert-base-chinese --gpus 0 --num-gpus 1
python -m langport.service.gateway.openai_api --port 8000 --controller-address http://localhost:21002

如果您需要嵌入式API或其他功能，则可以部署分布式推理群集：

python -m langport.service.server.dummy_worker --port 21001
python -m langport.service.server.generation_worker --model-path < your model path > --neighbors http://localhost:21001
python -m langport.service.server.embedding_worker --model-path < your model path > --neighbors http://localhost:21001
python -m langport.service.gateway.openai_api --controller-address http://localhost:21001

实际上，网关可以连接到分布推理任务的任何节点：

python -m langport.service.server.dummy_worker --port 21001
python -m langport.service.server.generation_worker --port 21002 --model-path < your model path > --neighbors http://localhost:21001
python -m langport.service.server.generation_worker --port 21003 --model-path < your model path > --neighbors http://localhost:21001 http://localhost:21002
python -m langport.service.server.generation_worker --port 21004 --model-path < your model path > --neighbors http://localhost:21001 http://localhost:21003
python -m langport.service.server.generation_worker --port 21005 --model-path < your model path > --neighbors http://localhost:21001 http://localhost:21004
python -m langport.service.gateway.openai_api --controller-address http://localhost:21003 # 21003 is OK!
python -m langport.service.gateway.openai_api --controller-address http://localhost:21002 # Any worker is also OK!

使用多GPU运行文本生成：

python -m langport.service.server.generation_worker --port 21001 --model-path < your model path > --gpus 0,1 --num-gpus 2
python -m langport.service.gateway.openai_api

与GGML工人一起运行文字生成：

python -m langport.service.server.ggml_generation_worker --port 21001 --model-path < your model path > --gpu-layers < num layer to gpu (resize this for your VRAM) >

运行OpenAI远射服务器：

python -m langport.service.server.chatgpt_generation_worker --port 21001 --api-url < url > --api-key < key > 

执照

Langport在Apache软件许可证下发布。

参见

• Langport-Docs
• Langport-Source

星历史