ดาวน์โหลด modelz llm - ดาวน์โหลดซอร์สโค้ด modelz llm

modelz llm

ซอร์สโค้ดอื่น ๆ

23.07.4

ดาวน์โหลด

Modelz LLM

Modelz LLM เป็นเซิร์ฟเวอร์การอนุมานที่อำนวยความสะดวกในการใช้ประโยชน์จากโมเดลภาษาโอเพนซอร์สขนาดใหญ่ (LLMs) เช่น Fastchat, Llama และ Chatglm ในสภาพแวดล้อม ในท้องถิ่นหรือคลาวด์ ที่มี API ที่ใช้งานร่วมกันได้ของ OpenAI

คุณสมบัติ

OpenAI ที่เข้ากันได้ API : Modelz LLM ให้ API ที่เข้ากันได้ OpenAI สำหรับ LLM ซึ่งหมายความว่าคุณสามารถใช้ OpenAI Python SDK หรือ Langchain เพื่อโต้ตอบกับโมเดล
โฮสต์ตนเอง : Modelz LLM สามารถปรับใช้ได้อย่างง่ายดายในสภาพแวดล้อมในท้องถิ่นหรือบนคลาวด์
โอเพ่นซอร์ส LLMS : Modelz LLM รองรับ LLM โอเพนซอร์สเช่น Fastchat, Llama และ Chatglm
Cloud Native : เราให้ภาพ Docker สำหรับ LLM ที่แตกต่างกันซึ่งสามารถปรับใช้ได้อย่างง่ายดายบน Kubernetes หรือสภาพแวดล้อมคลาวด์อื่น ๆ (เช่น Modelz)

เริ่มต้นอย่างรวดเร็ว

ติดตั้ง

pip install modelz-llm
# or install from source
pip install git+https://github.com/tensorchord/modelz-llm.git[gpu]

เรียกใช้เซิร์ฟเวอร์ API ที่โฮสต์ตนเอง

โปรดเริ่มเซิร์ฟเวอร์ API ที่โฮสต์ตนเองก่อนโดยทำตามคำแนะนำ:

modelz-llm -m bigscience/bloomz-560m --device cpu

ขณะนี้เราสนับสนุนรุ่นต่อไปนี้:

ชื่อนางแบบ	โมเดล HuggingFace	ภาพนักเทียบท่า	GPU ที่แนะนำ
Fastchat t5	`lmsys/fastchat-t5-3b-v1.0`	modelzai/llm-fastchat-t5-3b	Nvidia L4 (24GB)
Vicuna 7b Delta v1.1	`lmsys/vicuna-7b-delta-v1.1`	Modelzai/LLM-vicuna-7b	Nvidia A100 (40GB)
llama 7b	`decapoda-research/llama-7b-hf`	Modelzai/LLM-LLAMA-7B	Nvidia A100 (40GB)
chatglm 6b int4	`THUDM/chatglm-6b-int4`	modelzai/llm-chatglm-6b-int4	Nvidia T4 (16GB)
chatglm 6b	`THUDM/chatglm-6b`	Modelzai/LLM-Chatglm-6b	Nvidia L4 (24GB)
Bloomz 560m	`bigscience/bloomz-560m`	Modelzai/LLM-Bloomz-560m	ซีพียู
Bloomz 1.7b	`bigscience/bloomz-1b7`		ซีพียู
Bloomz 3B	`bigscience/bloomz-3b`		Nvidia L4 (24GB)
Bloomz 7.1b	`bigscience/bloomz-7b1`		Nvidia A100 (40GB)

ใช้ Openai Python SDK

จากนั้นคุณสามารถใช้ Openai Python SDK เพื่อโต้ตอบกับรุ่น:

 import openai
openai . api_base = "http://localhost:8000"
openai . api_key = "any"

# create a chat completion
chat_completion = openai . ChatCompletion . create ( model = "any" , messages = [{ "role" : "user" , "content" : "Hello world" }])

รวมเข้ากับ Langchain

คุณสามารถรวม Modelz-LLM เข้ากับ Langchain:

 import openai
openai . api_base = "http://localhost:8000"
openai . api_key = "any"

from langchain . llms import OpenAI

llm = OpenAI ()

llm . generate ( prompts = [ "Could you please recommend some movies?" ])