langport

Langport

Langport adalah platform penyajian model bahasa besar open-source. Tujuan kami adalah membangun layanan inferensi LLM yang sangat cepat.

Proyek ini terinspirasi oleh LMSys/Fastchat, kami berharap platform penyajiannya ringan dan cepat, tetapi Fastchat menyertakan fitur lain seperti pelatihan dan evaluasi membuatnya rumit.

Fitur inti meliputi:

• Dukungan Huggingface Transformers.
• Dukungan GGML (LLAMA.CPP).
• Sistem porsi terdistribusi untuk model canggih.
• Dukungan generasi streaming dengan berbagai strategi decoding.
• Inferensi batch untuk throughput yang lebih tinggi.
• Dukungan untuk model Encoder-Only, Decoder-Only dan Encoder-Decoder.
• API RESTful yang kompatibel dengan Openai.
• API RESTful yang kompatibel dengan fauxpilot.
• API RESTful yang kompatibel dengan pelukan.
• API RESTful yang kompatibel dengan Tabby.

Arsitektur Model Dukungan

• Llama, Llama2, GLM, Bloom, Opt, GPT2, GPT Neo, GPT Big Code dan sebagainya.

Model yang diuji

• Ningyu, llama, llama2, vicuna, chatglm, chatglm2, falcon, starcoder, wizardlm, internlm, openbuddy, firefly, codegen, phoenix, rwkv, stablelm dan sebagainya.

Berita

• [2024/01/13] memperkenalkan ChatProto .
• [2023/08/04] Inferensi Batch Dinamis.
• [2023/07/16] Mendukung kuantisasi int4.
• [2023/07/13] Dukungan parameter LogProbs pembuatan.
• [2023/06/18] Tambahkan GGML (llama.cpp gpt.cpp starcoder.cpp dll.) Dukungan pekerja.
• [2023/06/09] Tambahkan dukungan pekerja llama.cpp.
• [2023/06/01] Tambahkan Huggingface Bert Menyematkan Dukungan Pekerja.
• [2023/06/01] Tambahkan Dukungan API Pembuatan Teks Huggingface.
• [2023/06/01] Tambahkan Dukungan API Tabby.
• [2023/05/23] Tambahkan skrip tes throughput obrolan.
• [2023/05/22] Arsitektur Terdistribusi Baru.
• [2023/05/14] Inferensi Batch didukung.
• [2023/05/10] Proyek Langport dimulai.

Memasang

Metode 1: Dengan Pip

pip install langport

atau:

pip install git+https://github.com/vtuber-plan/langport.git 

Jika Anda membutuhkan pekerja generasi GGML, gunakan perintah ini:

pip install langport[ggml]

Jika Anda ingin menggunakan GPU:

CT_CUBLAS=1 pip install langport[ggml]

Metode 2: Dari Sumber

1. Kloning repositori ini

git clone https://github.com/vtuber-plan/langport.git
cd langport

2. Instal paket

pip install --upgrade pip
pip install -e . 

Awal yang cepat

Sederhana untuk memulai layanan API obrolan lokal:

Pertama, mulailah proses pekerja di terminal:

python -m langport.service.server.generation_worker --port 21001 --model-path < your model path >

Kemudian, mulailah layanan API di terminal lain:

python -m langport.service.gateway.openai_api

Sekarang, Anda dapat menggunakan API Inference oleh Openai Protocol.

Mulai server

Sederhana untuk memulai layanan API obrolan node tunggal:

python -m langport.service.server.generation_worker --port 21001 --model-path < your model path >
python -m langport.service.gateway.openai_api

Jika Anda membutuhkan satu node embeddings API server:

python -m langport.service.server.embedding_worker --port 21002 --model-path bert-base-chinese --gpus 0 --num-gpus 1
python -m langport.service.gateway.openai_api --port 8000 --controller-address http://localhost:21002

Jika Anda membutuhkan API Embeddings atau fitur lainnya, Anda dapat menggunakan cluster inferensi terdistribusi:

python -m langport.service.server.dummy_worker --port 21001
python -m langport.service.server.generation_worker --model-path < your model path > --neighbors http://localhost:21001
python -m langport.service.server.embedding_worker --model-path < your model path > --neighbors http://localhost:21001
python -m langport.service.gateway.openai_api --controller-address http://localhost:21001

Dalam praktiknya, gateway dapat terhubung ke node apa pun untuk mendistribusikan tugas inferensi:

python -m langport.service.server.dummy_worker --port 21001
python -m langport.service.server.generation_worker --port 21002 --model-path < your model path > --neighbors http://localhost:21001
python -m langport.service.server.generation_worker --port 21003 --model-path < your model path > --neighbors http://localhost:21001 http://localhost:21002
python -m langport.service.server.generation_worker --port 21004 --model-path < your model path > --neighbors http://localhost:21001 http://localhost:21003
python -m langport.service.server.generation_worker --port 21005 --model-path < your model path > --neighbors http://localhost:21001 http://localhost:21004
python -m langport.service.gateway.openai_api --controller-address http://localhost:21003 # 21003 is OK!
python -m langport.service.gateway.openai_api --controller-address http://localhost:21002 # Any worker is also OK!

Jalankan pembuatan teks dengan multi gpus:

python -m langport.service.server.generation_worker --port 21001 --model-path < your model path > --gpus 0,1 --num-gpus 2
python -m langport.service.gateway.openai_api

Jalankan pembuatan teks dengan pekerja GGML:

python -m langport.service.server.ggml_generation_worker --port 21001 --model-path < your model path > --gpu-layers < num layer to gpu (resize this for your VRAM) >

Jalankan server Forward OpenAi:

python -m langport.service.server.chatgpt_generation_worker --port 21001 --api-url < url > --api-key < key > 

Lisensi

Langport dirilis di bawah lisensi perangkat lunak Apache.

Lihat juga

• Langport-Docs
• Sumber Langport

Sejarah Bintang