langport

蘭波波特

Langport是一種開源大型語言模型服務平台。我們的目標是建立超級快速的LLM推理服務。

該項目的靈感來自LMSY/FastChat，我們希望服務平台輕巧且快速，但是FastChat包含其他功能，例如培訓和評估，使其變得複雜。

核心功能包括：

• 擁抱面變壓器支持。
• GGML（Llama.cpp）支持。
• 用於最先進模型的分佈式服務系統。
• 通過各種解碼策略進行流式生成支持。
• 批次推斷以獲得更高的吞吐量。
• 支持僅編碼，僅解碼器和編碼器模型。
• 與Openai兼容的靜坐API。
• 人造與兼容的API。
• 擁抱面兼容的RESTFUL API。
• 與Tabby兼容的Restful API。

支持模型體系結構

• Llama，Llama2，GLM，Bloom，Opt，GPT2，GPT NEO，GPT大型代碼等。

測試模型

• NINGYU，LLAMA，LLAMA2，VICUNA，CHETGLM，CHATGLM2，FALCON，Starcoder，Wizardlm，Internlm，OpenBuddy，Firefly，Codegen，Phoenix，Phoenix，rwkv，Stablelm等。

消息

• [2024/01/13]介紹ChatProto 。
• [2023/08/04]動態批處理推斷。
• [2023/07/16]支持INT4量化。
• [2023/07/13]支持生成logprobs參數。
• [2023/06/18]添加ggml（llama.cpp gpt.cpp starcoder.cpp等）工人支持。
• [2023/06/09]添加Llama.CPP工人支持。
• [2023/06/01]添加huggingface bert嵌入工人支持。
• [2023/06/01]添加擁抱面文本生成API支持。
• [2023/06/01]添加TABBY API支持。
• [2023/05/23]添加聊天吞吐量測試腳本。
• [2023/05/22]新的分佈式體系結構。
• [2023/05/14]受支持的批次推理。
• [2023/05/10] Langport項目開始了。

安裝

方法1：使用PIP

pip install langport

或者：

pip install git+https://github.com/vtuber-plan/langport.git 

如果您需要GGML生成工作者，請使用此命令：

pip install langport[ggml]

如果您想使用GPU：

CT_CUBLAS=1 pip install langport[ggml]

方法2：來自源

1. 克隆這個存儲庫

git clone https://github.com/vtuber-plan/langport.git
cd langport

2. 安裝軟件包

pip install --upgrade pip
pip install -e . 

快速開始

啟動本地聊天API服務很容易：

首先，在終端開始工作過程：

python -m langport.service.server.generation_worker --port 21001 --model-path < your model path >

然後，在另一個終端啟動API服務：

python -m langport.service.gateway.openai_api

現在，您可以通過OpenAI協議使用推理API。

啟動服務器

啟動單個節點聊天API服務很容易：

python -m langport.service.server.generation_worker --port 21001 --model-path < your model path >
python -m langport.service.gateway.openai_api

如果您需要單個節點嵌入式API服務器：

python -m langport.service.server.embedding_worker --port 21002 --model-path bert-base-chinese --gpus 0 --num-gpus 1
python -m langport.service.gateway.openai_api --port 8000 --controller-address http://localhost:21002

如果您需要嵌入式API或其他功能，則可以部署分佈式推理群集：

python -m langport.service.server.dummy_worker --port 21001
python -m langport.service.server.generation_worker --model-path < your model path > --neighbors http://localhost:21001
python -m langport.service.server.embedding_worker --model-path < your model path > --neighbors http://localhost:21001
python -m langport.service.gateway.openai_api --controller-address http://localhost:21001

實際上，網關可以連接到分佈推理任務的任何節點：

python -m langport.service.server.dummy_worker --port 21001
python -m langport.service.server.generation_worker --port 21002 --model-path < your model path > --neighbors http://localhost:21001
python -m langport.service.server.generation_worker --port 21003 --model-path < your model path > --neighbors http://localhost:21001 http://localhost:21002
python -m langport.service.server.generation_worker --port 21004 --model-path < your model path > --neighbors http://localhost:21001 http://localhost:21003
python -m langport.service.server.generation_worker --port 21005 --model-path < your model path > --neighbors http://localhost:21001 http://localhost:21004
python -m langport.service.gateway.openai_api --controller-address http://localhost:21003 # 21003 is OK!
python -m langport.service.gateway.openai_api --controller-address http://localhost:21002 # Any worker is also OK!

使用多GPU運行文本生成：

python -m langport.service.server.generation_worker --port 21001 --model-path < your model path > --gpus 0,1 --num-gpus 2
python -m langport.service.gateway.openai_api

與GGML工人一起運行文字生成：

python -m langport.service.server.ggml_generation_worker --port 21001 --model-path < your model path > --gpu-layers < num layer to gpu (resize this for your VRAM) >

運行OpenAI遠射服務器：

python -m langport.service.server.chatgpt_generation_worker --port 21001 --api-url < url > --api-key < key > 

執照

Langport在Apache軟件許可證下發布。

參見

• Langport-Docs
• Langport-Source

星曆史