langport

Langport

Langport es una plataforma de servicio de modelo de lenguaje de código abierto. Nuestro objetivo es construir un servicio de inferencia Super Fast LLM.

Este proyecto está inspirado en LMSYS/FASTCHAT, esperamos que la plataforma de servicio sea liviana y rápida, pero FastChat incluye otras características, como la capacitación y la evaluación, lo hacen complicado.

Las características principales incluyen:

• Soporte de Transformers de Huggingface.
• GGML (Llama.cpp) Soporte.
• Un sistema de servicio distribuido para modelos de última generación.
• Soporte de generación de transmisión con varias estrategias de decodificación.
• Inferencia por lotes para mayor rendimiento.
• Soporte para modelos solo de codificadores, solo decodificadores y codificadores de codificadores.
• API RESTFLES compatibles con OpenAI.
• API RESTFORES compatibles con fauxpilot.
• API RESTFLES compatibles con la cara de abrazos.
• API RESTFORES compatibles con atigrado.

Arquitecturas de modelos de soporte

• Llama, Llama2, Glm, Bloom, Opt, GPT2, GPT Neo, GPT Big Code, etc.

Modelos probados

• Ningyu, Llama, Llama2, Vicuna, Chatglm, Chatglm2, Falcon, Starcoder, Wizardlm, Internlm, OpenBuddy, Firefly, Codegen, Phoenix, RWKV, Stablelm, etc.

Noticias

• [2024/01/13] Presente el ChatProto .
• [2023/08/04] Inferencia por lotes dinámico.
• [2023/07/16] Soporte de cuantización INT4.
• [2023/07/13] Parámetro de Logprobs de generación de soporte.
• [2023/06/18] Agregar GGML (LLAMA.CPP GPT.CPP Starcoder.cpp, etc.) Soporte de trabajadores.
• [2023/06/09] Agregue el apoyo de trabajadores LLAMA.CPP.
• [2023/06/01] Agregue el soporte de trabajadores de incrustación de Huggingface Bert.
• [2023/06/01] Agregar soporte de API de generación de texto Huggingface.
• [2023/06/01] Agregar soporte de API Tabby.
• [2023/05/23] Agregue el script de prueba de rendimiento de chat.
• [2023/05/22] Nueva arquitectura distribuida.
• [2023/05/14] Inferencia por lotes compatible.
• [2023/05/10] El proyecto Langport comenzó.

Instalar

Método 1: con PIP

pip install langport

o:

pip install git+https://github.com/vtuber-plan/langport.git 

Si necesita GGML Generation Worker, use este comando:

pip install langport[ggml]

Si quieres usar GPU:

CT_CUBLAS=1 pip install langport[ggml]

Método 2: desde la fuente

1. Clon este repositorio

git clone https://github.com/vtuber-plan/langport.git
cd langport

2. Instalar el paquete

pip install --upgrade pip
pip install -e . 

Comienzo rápido

Es simple iniciar un servicio de API de chat local:

Primero, comience un proceso de trabajo en la terminal:

python -m langport.service.server.generation_worker --port 21001 --model-path < your model path >

Luego, comience un servicio API en otra terminal:

python -m langport.service.gateway.openai_api

Ahora, puede usar la API de inferencia por el protocolo Operai.

Iniciar el servidor

Es simple iniciar un servicio API de chat de un solo nodo:

python -m langport.service.server.generation_worker --port 21001 --model-path < your model path >
python -m langport.service.gateway.openai_api

Si necesita un servidor API de incrustaciones de un solo nodo:

python -m langport.service.server.embedding_worker --port 21002 --model-path bert-base-chinese --gpus 0 --num-gpus 1
python -m langport.service.gateway.openai_api --port 8000 --controller-address http://localhost:21002

Si necesita la API de incrustaciones u otras funciones, puede implementar un clúster de inferencia distribuido:

python -m langport.service.server.dummy_worker --port 21001
python -m langport.service.server.generation_worker --model-path < your model path > --neighbors http://localhost:21001
python -m langport.service.server.embedding_worker --model-path < your model path > --neighbors http://localhost:21001
python -m langport.service.gateway.openai_api --controller-address http://localhost:21001

En la práctica, la puerta de enlace puede conectarse a cualquier nodo para distribuir tareas de inferencia:

python -m langport.service.server.dummy_worker --port 21001
python -m langport.service.server.generation_worker --port 21002 --model-path < your model path > --neighbors http://localhost:21001
python -m langport.service.server.generation_worker --port 21003 --model-path < your model path > --neighbors http://localhost:21001 http://localhost:21002
python -m langport.service.server.generation_worker --port 21004 --model-path < your model path > --neighbors http://localhost:21001 http://localhost:21003
python -m langport.service.server.generation_worker --port 21005 --model-path < your model path > --neighbors http://localhost:21001 http://localhost:21004
python -m langport.service.gateway.openai_api --controller-address http://localhost:21003 # 21003 is OK!
python -m langport.service.gateway.openai_api --controller-address http://localhost:21002 # Any worker is also OK!

Ejecute la generación de texto con GPU múltiple:

python -m langport.service.server.generation_worker --port 21001 --model-path < your model path > --gpus 0,1 --num-gpus 2
python -m langport.service.gateway.openai_api

Ejecute la generación de texto con el trabajador GGML:

python -m langport.service.server.ggml_generation_worker --port 21001 --model-path < your model path > --gpu-layers < num layer to gpu (resize this for your VRAM) >

Ejecutar OpenAI Forward Server:

python -m langport.service.server.chatgpt_generation_worker --port 21001 --api-url < url > --api-key < key > 

Licencia

Langport se lanza bajo la licencia de software Apache.

Ver también

• Langport-Docs
• Fuente de Langport

Historia de la estrella