الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

Langport

بنيان

Langport هو منصة خدمة لغة كبيرة مفتوحة المصدر. هدفنا هو بناء خدمة استنتاج فائقة LLM.

هذا المشروع مستوحى من LMSYS/FastChat ، ونأمل أن تكون منصة التقديم خفيفة الوزن وسريعة ، ولكن FastChat يتضمن ميزات أخرى مثل التدريب والتقييم يجعلها معقدة.

تشمل الميزات الأساسية:

  • دعم المحولات Huggingface.
  • GGML (llama.cpp) دعم.
  • نظام خدمة موزعة لنماذج أحدث.
  • تدفق دعم توليد مع مختلف استراتيجيات فك التشفير.
  • استنتاج الدُفعة لإنتاجية أعلى.
  • الدعم لنماذج التشفير فقط ، ومواد الترميز فقط وترميز التشفير.
  • واجهات برمجة التطبيقات المريحة المتوافقة مع Openai.
  • واجهات برمجة التطبيقات المريحة المتوافقة مع Fauxpilot.
  • واجهات برمجة التطبيقات المريحة المتوافقة مع تعانق.
  • واجهات برمجة التطبيقات المريحة المتوافقة مع Tabby.

دعم البنى النموذجية

  • Llama ، Llama2 ، GLM ، Bloom ، OPT ، GPT2 ، GPT NEO ، GPT BIG CODE وما إلى ذلك.

نماذج تم اختبارها

  • Ningyu ، Llama ، Llama2 ، Vicuna ، ChatGlm ، ChatGlm2 ، Falcon ، Starcoder ، Wizardlm ، Internlm ، OpenBuddy ، Firefly ، Codegen ، Phoenix ، RWKV ، Stablelm وما إلى ذلك.

أخبار

  • [2024/01/13] تقديم ChatProto .
  • [2023/08/04] استنتاج الدُفعات الديناميكية.
  • [2023/07/16] دعم تقدير int4.
  • [2023/07/13] معلمة LogProbs لتوليد الدعم.
  • [2023/06/18] إضافة GGML (llama.cpp gpt.cpp starcoder.cpp إلخ) دعم العمال.
  • [2023/06/09] أضف دعم العمال llama.cpp.
  • [2023/06/01] أضف دعم عامل تضمين Bert Huggingface.
  • [2023/06/01] أضف دعم واجهة برمجة تطبيقات توليد نص Huggingface.
  • [2023/06/01] إضافة دعم API Tabby.
  • [2023/05/23] أضف البرنامج النصي اختبار إنتاجية الدردشة.
  • [2023/05/22] الهندسة المعمارية الموزعة الجديدة.
  • [2023/05/14] دعم الدُفعات المدعومة.
  • [2023/05/10] بدأ مشروع Langport.

ثَبَّتَ

الطريقة 1: مع PIP 

pip install langport

أو: 

pip install git+https://github.com/vtuber-plan/langport.git

إذا كنت بحاجة إلى عامل توليد GGML ، فاستخدم هذا الأمر: 

pip install langport[ggml]

إذا كنت تريد استخدام GPU: 

CT_CUBLAS=1 pip install langport[ggml]

الطريقة 2: من المصدر

  1. استنساخ هذا المستودع 
git clone https://github.com/vtuber-plan/langport.git
cd langport
  1. تثبيت الحزمة 
pip install --upgrade pip
pip install -e .

بداية سريعة

من السهل بدء خدمة API محلية للدردشة:

أولاً ، ابدأ عملية العمال في المحطة: 

python -m langport.service.server.generation_worker --port 21001 --model-path < your model path >

ثم ، ابدأ خدمة API في محطة أخرى: 

python -m langport.service.gateway.openai_api

الآن ، يمكنك استخدام API الاستدلال بواسطة بروتوكول Openai.

ابدأ الخادم

من السهل بدء خدمة API للدردشة العقدة: 

python -m langport.service.server.generation_worker --port 21001 --model-path < your model path >
python -m langport.service.gateway.openai_api

إذا كنت بحاجة إلى خادم API لعقدة واحدة: 

python -m langport.service.server.embedding_worker --port 21002 --model-path bert-base-chinese --gpus 0 --num-gpus 1
python -m langport.service.gateway.openai_api --port 8000 --controller-address http://localhost:21002

إذا كنت بحاجة إلى API أو ميزات أخرى ، فيمكنك نشر مجموعة استنتاج موزعة: 

python -m langport.service.server.dummy_worker --port 21001
python -m langport.service.server.generation_worker --model-path < your model path > --neighbors http://localhost:21001
python -m langport.service.server.embedding_worker --model-path < your model path > --neighbors http://localhost:21001
python -m langport.service.gateway.openai_api --controller-address http://localhost:21001

في الممارسة العملية ، يمكن للبوابة الاتصال بأي عقدة لتوزيع مهام الاستدلال: 

python -m langport.service.server.dummy_worker --port 21001
python -m langport.service.server.generation_worker --port 21002 --model-path < your model path > --neighbors http://localhost:21001
python -m langport.service.server.generation_worker --port 21003 --model-path < your model path > --neighbors http://localhost:21001 http://localhost:21002
python -m langport.service.server.generation_worker --port 21004 --model-path < your model path > --neighbors http://localhost:21001 http://localhost:21003
python -m langport.service.server.generation_worker --port 21005 --model-path < your model path > --neighbors http://localhost:21001 http://localhost:21004
python -m langport.service.gateway.openai_api --controller-address http://localhost:21003 # 21003 is OK!
python -m langport.service.gateway.openai_api --controller-address http://localhost:21002 # Any worker is also OK!

تشغيل توليد النص مع وحدات معالجة الرسومات المتعددة: 

python -m langport.service.server.generation_worker --port 21001 --model-path < your model path > --gpus 0,1 --num-gpus 2
python -m langport.service.gateway.openai_api

تشغيل توليد النص مع عامل GGML: 

python -m langport.service.server.ggml_generation_worker --port 21001 --model-path < your model path > --gpu-layers < num layer to gpu (resize this for your VRAM) >

Run Openai Forward Server: 

python -m langport.service.server.chatgpt_generation_worker --port 21001 --api-url < url > --api-key < key >

رخصة

يتم إصدار Langport بموجب ترخيص برنامج Apache.

انظر أيضا

  • Langport-Docs
  • Langport-source

تاريخ النجوم

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل