langport

Langport

Langport ist eine Open-Source-Dienerplattform mit großer Sprache. Unser Ziel ist es, einen superschnellen LLM -Inferenzservice zu bauen.

Dieses Projekt ist von LMSYS/Fastchat inspiriert. Wir hoffen, dass die Servierplattform leicht und Fast ist. Fastchat enthält jedoch andere Funktionen wie Training und Bewertung, die es kompliziert machen.

Die Kernfunktionen umfassen:

• Unterstützung der Umarmungsface -Transformatoren.
• Unterstützung von GGML (llama.cpp).
• Ein verteiltes Servierungssystem für hochmoderne Modelle.
• Unterstützung der Streaming -Generation mit verschiedenen Dekodierungsstrategien.
• Batch -Inferenz für einen höheren Durchsatz.
• Unterstützung für nur Encoder-, Decoder- und Encoder-Decoder-Modelle.
• OpenAI-kompatible erholsame APIs.
• Fauxpilot-kompatible erholsame APIs.
• Umarmungsface-kompatible erholsame APIs.
• Tabby-kompatible erholsame APIs.

Unterstützen Sie Modellarchitekturen

• Llama, llama2, glm, blühen, opt, gpt2, gpt neo, gpt großer Code und so weiter.

Getestete Modelle

• Ningyu, Llama, Llama2, Vicuna, Chatglm, Chatglm2, Falcon, StarCoder, Wizardlm, Internlm, Openbuddy, Firefly, Codegen, Phoenix, RWKV, Stablelm und so weiter.

Nachricht

• [2024/01/13] Stellen Sie den ChatProto ein.
• [2023/08/04] Dynamische Stapelinferenz.
• [2023/07/16] Unterstützung int4 Quantisierung.
• [2023/07/13] Unterstützung der Erzeugung logProbs -Parameter.
• [2023/06/18] Fügen Sie GGML (llama.cpp gpt.cpp starCoder.cpp usw.) Arbeiter -Unterstützung hinzu.
• [2023/06/09] Fügen Sie Lama.Cpp Worker -Unterstützung hinzu.
• [2023/06/01] Fügen Sie Huggingface Bert -Einbettungsunterstützung hinzu.
• [2023/06/01] Fügen Sie die API -Unterstützung von Huggingface -Textgenerierung hinzu.
• [2023/06/01] Fügen Sie Tabby API -Unterstützung hinzu.
• [2023/05/23] Fügen Sie das Chat -Durchsatz -Testskript hinzu.
• [2023/05/22] Neue verteilte Architektur.
• [2023/05/14] Batch -Inferenz unterstützt.
• [2023/05/10] Das Langport -Projekt startete.

Installieren

Methode 1: mit PIP

pip install langport

oder:

pip install git+https://github.com/vtuber-plan/langport.git 

Wenn Sie einen GGML -Generierungarbeiter benötigen, verwenden Sie diesen Befehl:

pip install langport[ggml]

Wenn Sie GPU verwenden möchten:

CT_CUBLAS=1 pip install langport[ggml]

Methode 2: aus der Quelle

1. Klonen Sie dieses Repository

git clone https://github.com/vtuber-plan/langport.git
cd langport

2. Installieren Sie das Paket

pip install --upgrade pip
pip install -e . 

Schneller Start

Es ist einfach, einen lokalen Chat -API -Service zu starten:

Starten Sie zunächst einen Arbeitsprozess im Terminal:

python -m langport.service.server.generation_worker --port 21001 --model-path < your model path >

Starten Sie dann einen API -Dienst in einem anderen Terminal:

python -m langport.service.gateway.openai_api

Jetzt können Sie die Inferenz -API von OpenAI Protocol verwenden.

Starten Sie den Server

Es ist einfach, einen einzelnen Knoten -Chat -API -Dienst zu starten:

python -m langport.service.server.generation_worker --port 21001 --model-path < your model path >
python -m langport.service.gateway.openai_api

Wenn Sie einen einzelnen Knoten -Einbettungs -API -Server benötigen:

python -m langport.service.server.embedding_worker --port 21002 --model-path bert-base-chinese --gpus 0 --num-gpus 1
python -m langport.service.gateway.openai_api --port 8000 --controller-address http://localhost:21002

Wenn Sie die Einbettungs -API oder andere Funktionen benötigen, können Sie einen verteilten Inferenzcluster bereitstellen:

python -m langport.service.server.dummy_worker --port 21001
python -m langport.service.server.generation_worker --model-path < your model path > --neighbors http://localhost:21001
python -m langport.service.server.embedding_worker --model-path < your model path > --neighbors http://localhost:21001
python -m langport.service.gateway.openai_api --controller-address http://localhost:21001

In der Praxis kann das Gateway eine Verbindung zu jedem Knoten herstellen, um Inferenzaufgaben zu verteilen:

python -m langport.service.server.dummy_worker --port 21001
python -m langport.service.server.generation_worker --port 21002 --model-path < your model path > --neighbors http://localhost:21001
python -m langport.service.server.generation_worker --port 21003 --model-path < your model path > --neighbors http://localhost:21001 http://localhost:21002
python -m langport.service.server.generation_worker --port 21004 --model-path < your model path > --neighbors http://localhost:21001 http://localhost:21003
python -m langport.service.server.generation_worker --port 21005 --model-path < your model path > --neighbors http://localhost:21001 http://localhost:21004
python -m langport.service.gateway.openai_api --controller-address http://localhost:21003 # 21003 is OK!
python -m langport.service.gateway.openai_api --controller-address http://localhost:21002 # Any worker is also OK!

Führen Sie die Textgenerierung mit Multi -GPUs aus:

python -m langport.service.server.generation_worker --port 21001 --model-path < your model path > --gpus 0,1 --num-gpus 2
python -m langport.service.gateway.openai_api

Führen Sie die Textgenerierung mit GGML -Arbeitern aus:

python -m langport.service.server.ggml_generation_worker --port 21001 --model-path < your model path > --gpu-layers < num layer to gpu (resize this for your VRAM) >

Führen Sie den OpenAI -Vorwärtsserver aus:

python -m langport.service.server.chatgpt_generation_worker --port 21001 --api-url < url > --api-key < key > 

Lizenz

Langport wird unter der Apache -Software -Lizenz veröffentlicht.

Siehe auch

• Langport-Docs
• Langport-Source

Sterngeschichte