หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>โค้ดแหล่งที่มา AI
ดาวน์โหลด

langport

สถาปัตยกรรม

Langport เป็นแพลตฟอร์มการให้บริการแบบจำลองภาษาขนาดใหญ่โอเพนซอร์ซ เป้าหมายของเราคือการสร้างบริการอนุมาน LLM ที่รวดเร็วเป็นพิเศษ

โครงการนี้ได้รับแรงบันดาลใจจาก LMSYS/FastChat เราหวังว่าแพลตฟอร์มการให้บริการจะมีน้ำหนักเบาและรวดเร็ว แต่ FastChat มีคุณสมบัติอื่น ๆ เช่นการฝึกอบรมและการประเมินผลทำให้มันซับซ้อน

คุณสมบัติหลัก ได้แก่ :

  • HuggingFace Transformers รองรับ
  • การสนับสนุน GGML (llama.cpp)
  • ระบบเสิร์ฟแบบกระจายสำหรับรุ่นที่ทันสมัย
  • การสนับสนุนการสร้างสตรีมมิ่งด้วยกลยุทธ์การถอดรหัสต่างๆ
  • การอนุมานแบบชุดสำหรับปริมาณงานที่สูงขึ้น
  • รองรับรุ่นเข้ารหัสเฉพาะตัวถอดรหัสเท่านั้นและรุ่นเข้ารหัส Decoder
  • APIs ที่เข้ากันได้ของ OpenAI
  • APIs ที่เข้ากันได้กับ fauxpilot
  • APIs ที่เข้ากันได้กับ HuggingFace
  • APIs ที่เข้ากันได้กับ Tabby

สนับสนุนสถาปัตยกรรมโมเดล

  • LLAMA, LLAMA2, GLM, Bloom, Opt, GPT2, GPT Neo, GPT Big Code และอื่น ๆ

รุ่นทดสอบ

  • Ningyu, Llama, Llama2, Vicuna, Chatglm, Chatglm2, Falcon, Starcoder, Wizardlm, Internlm, OpenBuddy, Firefly, Codegen, Phoenix, RWKV, Stablelm และอื่น ๆ

ข่าว

  • [2024/01/13] แนะนำ ChatProto
  • [2023/08/04] การอนุมานชุดแบบไดนามิก
  • [2023/07/16] รองรับปริมาณ Int4
  • [2023/07/13] พารามิเตอร์การสร้าง logprobs การสร้าง
  • [2023/06/18] เพิ่ม ggml (llama.cpp gpt.cpp starcoder.cpp ฯลฯ ) การสนับสนุนคนงาน
  • [2023/06/09] เพิ่มการสนับสนุนคนงาน llama.cpp
  • [2023/06/01] เพิ่ม HuggingFace Bert Embedding Worker Support
  • [2023/06/01] เพิ่มการสนับสนุนการสร้างข้อความ API HuggingFace
  • [2023/06/01] เพิ่มการสนับสนุน Tabby API
  • [2023/05/23] เพิ่มสคริปต์ทดสอบการแชท
  • [2023/05/22] สถาปัตยกรรมแบบกระจายใหม่
  • [2023/05/14] รองรับการอนุมานแบบชุด
  • [2023/05/10] โครงการ Langport เริ่มต้นขึ้น

ติดตั้ง

วิธีที่ 1: ด้วย PIP 

pip install langport

หรือ: 

pip install git+https://github.com/vtuber-plan/langport.git

หากคุณต้องการคนงาน GGML Generation ให้ใช้คำสั่งนี้: 

pip install langport[ggml]

หากคุณต้องการใช้ GPU: 

CT_CUBLAS=1 pip install langport[ggml]

วิธีที่ 2: จากแหล่งที่มา

  1. โคลนที่เก็บนี้ 
git clone https://github.com/vtuber-plan/langport.git
cd langport
  1. ติดตั้งแพ็คเกจ 
pip install --upgrade pip
pip install -e .

เริ่มต้นอย่างรวดเร็ว

เป็นเรื่องง่ายที่จะเริ่มบริการแชท API ในพื้นที่:

ก่อนอื่นให้เริ่มกระบวนการคนงานในเทอร์มินัล: 

python -m langport.service.server.generation_worker --port 21001 --model-path < your model path >

จากนั้นเริ่มบริการ API ในเทอร์มินัลอื่น: 

python -m langport.service.gateway.openai_api

ตอนนี้คุณสามารถใช้การอนุมาน API โดย OpenAI Protocol

เริ่มต้นเซิร์ฟเวอร์

เป็นเรื่องง่ายที่จะเริ่มบริการโหนดแชท API เดียว: 

python -m langport.service.server.generation_worker --port 21001 --model-path < your model path >
python -m langport.service.gateway.openai_api

หากคุณต้องการเซิร์ฟเวอร์ Embeddings API เดียว: 

python -m langport.service.server.embedding_worker --port 21002 --model-path bert-base-chinese --gpus 0 --num-gpus 1
python -m langport.service.gateway.openai_api --port 8000 --controller-address http://localhost:21002

หากคุณต้องการ Embeddings API หรือคุณสมบัติอื่น ๆ คุณสามารถปรับใช้คลัสเตอร์การกระจายแบบกระจาย: 

python -m langport.service.server.dummy_worker --port 21001
python -m langport.service.server.generation_worker --model-path < your model path > --neighbors http://localhost:21001
python -m langport.service.server.embedding_worker --model-path < your model path > --neighbors http://localhost:21001
python -m langport.service.gateway.openai_api --controller-address http://localhost:21001

ในทางปฏิบัติเกตเวย์สามารถเชื่อมต่อกับโหนดใด ๆ เพื่อแจกจ่ายงานอนุมาน: 

python -m langport.service.server.dummy_worker --port 21001
python -m langport.service.server.generation_worker --port 21002 --model-path < your model path > --neighbors http://localhost:21001
python -m langport.service.server.generation_worker --port 21003 --model-path < your model path > --neighbors http://localhost:21001 http://localhost:21002
python -m langport.service.server.generation_worker --port 21004 --model-path < your model path > --neighbors http://localhost:21001 http://localhost:21003
python -m langport.service.server.generation_worker --port 21005 --model-path < your model path > --neighbors http://localhost:21001 http://localhost:21004
python -m langport.service.gateway.openai_api --controller-address http://localhost:21003 # 21003 is OK!
python -m langport.service.gateway.openai_api --controller-address http://localhost:21002 # Any worker is also OK!

เรียกใช้การสร้างข้อความด้วย Multi GPU: 

python -m langport.service.server.generation_worker --port 21001 --model-path < your model path > --gpus 0,1 --num-gpus 2
python -m langport.service.gateway.openai_api

เรียกใช้การสร้างข้อความด้วย GGML Worker: 

python -m langport.service.server.ggml_generation_worker --port 21001 --model-path < your model path > --gpu-layers < num layer to gpu (resize this for your VRAM) >

เรียกใช้ OpenAI Forward Server: 

python -m langport.service.server.chatgpt_generation_worker --port 21001 --api-url < url > --api-key < key >

ใบอนุญาต

Langport เปิดตัวภายใต้ใบอนุญาตซอฟต์แวร์ Apache

ดูด้วย

  • Langport-Docs
  • Langport-Source

ประวัติดาว

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด