تنزيل modelz llm - تنزيل رمز المصدر modelz llm

modelz llm

شفرة المصدر الأخرى

23.07.4

تنزيل

Modelz LLM

Modelz LLM هو خادم استدلال يسهل استخدام نماذج اللغة الكبيرة المفتوحة المصدر (LLMS) ، مثل Fastchat و Llama و ChatGLM ، على البيئات المحلية أو المستندة إلى السحابة مع API المتوافقة مع OpenAI .

سمات

Openai Compatible API : يوفر Modelz LLM واجهة برمجة تطبيقات متوافقة مع LLMS ، مما يعني أنه يمكنك استخدام Openai Python SDK أو Langchain للتفاعل مع النموذج.
مستضيف ذاتي : يمكن نشر Modelz LLM بسهولة على البيئات المحلية أو المستندة إلى مجموعة النظراء.
Open Source LLMS : يدعم Modelz LLM LLMs Open Source ، مثل Fastchat و Llama و ChatGlm.
Cloud Native : نحن نقدم صور Docker لمختلف LLMs ، والتي يمكن نشرها بسهولة على Kubernetes ، أو البيئات الأخرى المستندة إلى مجموعة النظراء (EG Modelz)

بداية سريعة

ثَبَّتَ

pip install modelz-llm
# or install from source
pip install git+https://github.com/tensorchord/modelz-llm.git[gpu]

قم بتشغيل خادم API المستضيف ذاتيًا

يرجى أولاً بدء خادم API المستضيف ذاتيًا باتباع الإرشادات:

modelz-llm -m bigscience/bloomz-560m --device cpu

حاليا ، نحن ندعم النماذج التالية:

اسم النموذج	نموذج Huggingface	صورة Docker	موصى به GPU
Fastchat T5	`lmsys/fastchat-t5-3b-v1.0`	Modelzai/LLM-Fastchat-T5-3b	Nvidia L4 (24 جيجابايت)
Vicuna 7B Delta v1.1	`lmsys/vicuna-7b-delta-v1.1`	Modelzai/LLM-VICUNA-7B	Nvidia A100 (40 جيجابايت)
لاما 7 ب	`decapoda-research/llama-7b-hf`	Modelzai/LLM-LLAMA-7B	Nvidia A100 (40 جيجابايت)
ChatGlm 6b Int4	`THUDM/chatglm-6b-int4`	Modelzai/LLM-Chatglm-6b-int4	Nvidia T4 (16 جيجابايت)
ChatGlm 6b	`THUDM/chatglm-6b`	Modelzai/LLM-Chatglm-6b	Nvidia L4 (24 جيجابايت)
بلوتز 560 م	`bigscience/bloomz-560m`	Modelzai/LLM-Bloomz-560m	وحدة المعالجة المركزية
بلومز 1.7 ب	`bigscience/bloomz-1b7`		وحدة المعالجة المركزية
بلوتز 3 ب	`bigscience/bloomz-3b`		Nvidia L4 (24 جيجابايت)
بلوتز 7.1 ب	`bigscience/bloomz-7b1`		Nvidia A100 (40 جيجابايت)

استخدم Openai Python SDK

ثم يمكنك استخدام Openai Python SDK للتفاعل مع النموذج:

 import openai
openai . api_base = "http://localhost:8000"
openai . api_key = "any"

# create a chat completion
chat_completion = openai . ChatCompletion . create ( model = "any" , messages = [{ "role" : "user" , "content" : "Hello world" }])

دمج مع لانجشين

يمكنك أيضًا دمج Modelz-Llm مع Langchain:

 import openai
openai . api_base = "http://localhost:8000"
openai . api_key = "any"

from langchain . llms import OpenAI

llm = OpenAI ()

llm . generate ( prompts = [ "Could you please recommend some movies?" ])