langport

Langport

Langport é uma plataforma de servir de modelo de grande idioma de código aberto. Nosso objetivo é construir um serviço de inferência super rápido LLM.

Este projeto é inspirado no LMSYS/FASTCHAT, esperamos que a plataforma de servir seja leve e rápida, mas o FastChat inclui outros recursos, como treinamento e avaliação, o complicou.

Os principais recursos incluem:

• Suporte para transformadores de huggingface.
• Suporte GGML (llama.cpp).
• Um sistema de porção distribuído para modelos de última geração.
• Suporte à geração de streaming com várias estratégias de decodificação.
• Inferência em lote por maior taxa de transferência.
• Suporte para modelos apenas para codificadores, somente decodificador e codificador-decodificador.
• APIs RESTful compatíveis com OpenAi.
• APIs repousas compatíveis com fauxpilot.
• APIs repousas compatíveis com Huggingface.
• APIs RESTful compatíveis com malhas.

Suportar arquiteturas de modelo

• LLAMA, LLAMA2, GLM, BLOOM, OPT, GPT2, GPT NEO, GPT BIG Code e assim por diante.

Modelos testados

• Ningyu, Llama, Llama2, Vicuna, Chatglm, Chatglm2, Falcon, Starcoder, Wizardlm, Internlm, OpenBuddy, Firefly, CodeGen, Phoenix, RWKV, Stablelm e assim por diante.

Notícias

• [2024/01/13] Apresente o ChatProto .
• [2023/08/04] Inferência de lote dinâmico.
• [2023/07/16] Suporte INT4 Quantização.
• [2023/07/13] Suporte Parâmetro da geração de logProbs.
• [2023/06/18] Adicione o suporte do trabalhador GGML (llama.cpp gpt.cpp starcoder.cpp etc.).
• [2023/06/09] Adicionar suporte para trabalhadores llama.cpp.
• [2023/06/01] Adicione o Suporte do trabalhador de incorporação do HuggingFace Bert.
• [2023/06/01] Adicione suporte da API de geração de texto Huggingface.
• [2023/06/01] Adicione suporte da API Tabby.
• [2023/05/23] Adicionar script de teste de rendimento de bate -papo.
• [2023/05/22] Nova arquitetura distribuída.
• [2023/05/14] Inferência em lote suportada.
• [2023/05/10] O projeto Langport foi iniciado.

Instalar

Método 1: com PIP

pip install langport

ou:

pip install git+https://github.com/vtuber-plan/langport.git 

Se você precisar de GGML Generation Worker, use este comando:

pip install langport[ggml]

Se você quiser usar a GPU:

CT_CUBLAS=1 pip install langport[ggml]

Método 2: da fonte

1. Clone este repositório

git clone https://github.com/vtuber-plan/langport.git
cd langport

2. Instale o pacote

pip install --upgrade pip
pip install -e . 

Início rápido

É simples iniciar um serviço de API de bate -papo local:

Primeiro, inicie um processo de trabalhador no terminal:

python -m langport.service.server.generation_worker --port 21001 --model-path < your model path >

Em seguida, inicie um serviço de API em outro terminal:

python -m langport.service.gateway.openai_api

Agora, você pode usar a API de inferência pelo protocolo OpenAI.

Inicie o servidor

É simples iniciar um único serviço de API de bate -papo de nó:

python -m langport.service.server.generation_worker --port 21001 --model-path < your model path >
python -m langport.service.gateway.openai_api

Se você precisar de um único nó API Server de Node:

python -m langport.service.server.embedding_worker --port 21002 --model-path bert-base-chinese --gpus 0 --num-gpus 1
python -m langport.service.gateway.openai_api --port 8000 --controller-address http://localhost:21002

Se você precisar da API de incorporação ou outros recursos, poderá implantar um cluster de inferência distribuído:

python -m langport.service.server.dummy_worker --port 21001
python -m langport.service.server.generation_worker --model-path < your model path > --neighbors http://localhost:21001
python -m langport.service.server.embedding_worker --model-path < your model path > --neighbors http://localhost:21001
python -m langport.service.gateway.openai_api --controller-address http://localhost:21001

Na prática, o gateway pode se conectar a qualquer nó para distribuir tarefas de inferência:

python -m langport.service.server.dummy_worker --port 21001
python -m langport.service.server.generation_worker --port 21002 --model-path < your model path > --neighbors http://localhost:21001
python -m langport.service.server.generation_worker --port 21003 --model-path < your model path > --neighbors http://localhost:21001 http://localhost:21002
python -m langport.service.server.generation_worker --port 21004 --model-path < your model path > --neighbors http://localhost:21001 http://localhost:21003
python -m langport.service.server.generation_worker --port 21005 --model-path < your model path > --neighbors http://localhost:21001 http://localhost:21004
python -m langport.service.gateway.openai_api --controller-address http://localhost:21003 # 21003 is OK!
python -m langport.service.gateway.openai_api --controller-address http://localhost:21002 # Any worker is also OK!

Execute a geração de texto com Multi GPUs:

python -m langport.service.server.generation_worker --port 21001 --model-path < your model path > --gpus 0,1 --num-gpus 2
python -m langport.service.gateway.openai_api

Execute a geração de texto com o GGML Worker:

python -m langport.service.server.ggml_generation_worker --port 21001 --model-path < your model path > --gpu-layers < num layer to gpu (resize this for your VRAM) >

Execute o OpenAi Forward Server:

python -m langport.service.server.chatgpt_generation_worker --port 21001 --api-url < url > --api-key < key > 

Licença

Langport é liberado sob a licença do software Apache.

Veja também

• Langport-Docs
• Langport-Source

História da estrela