Unduh modelz llm - Unduh Kode Sumber modelz llm

modelz llm

Kode sumber lainnya

23.07.4

Unduh

Modelz LLM

Modelz LLM adalah server inferensi yang memfasilitasi pemanfaatan Model Bahasa Besar Sumber Terbuka (LLM), seperti Fastchat, Llama, dan ChatGLM, di lingkungan lokal atau berbasis cloud dengan API yang kompatibel dengan OpenAI .

Fitur

Openai Compatible API : Modelz LLM menyediakan API yang kompatibel dengan OpenAI untuk LLMS, yang berarti Anda dapat menggunakan Openai Python SDK atau Langchain untuk berinteraksi dengan model.
Self-host : Modelz LLM dapat dengan mudah digunakan di lingkungan lokal atau berbasis cloud.
Open Source LLMS : Modelz LLM mendukung Open Source LLMS, seperti Fastchat, Llama, dan ChatGLM.
Cloud Native : Kami menyediakan gambar Docker untuk LLM yang berbeda, yang dapat dengan mudah digunakan pada Kubernetes, atau lingkungan berbasis cloud lainnya (misalnya Modelz)

Awal yang cepat

Memasang

pip install modelz-llm
# or install from source
pip install git+https://github.com/tensorchord/modelz-llm.git[gpu]

Jalankan server API yang diselenggarakan sendiri

Pertama-tama mulai server API yang diselenggarakan sendiri dengan mengikuti instruksi:

modelz-llm -m bigscience/bloomz-560m --device cpu

Saat ini, kami mendukung model -model berikut:

Nama model	Model Huggingface	Gambar Docker	GPU yang direkomendasikan
Fastchat T5	`lmsys/fastchat-t5-3b-v1.0`	Modelzai/llm-fastchat-t5-3b	NVIDIA L4 (24GB)
Vicuna 7B Delta v1.1	`lmsys/vicuna-7b-delta-v1.1`	Modelzai/llm-vicuna-7b	NVIDIA A100 (40GB)
Llama 7b	`decapoda-research/llama-7b-hf`	Modelzai/llm-llama-7b	NVIDIA A100 (40GB)
CHATGLM 6B INT4	`THUDM/chatglm-6b-int4`	Modelzai/LLM-CHATGLM-6B-INT4	NVIDIA T4 (16GB)
Chatglm 6b	`THUDM/chatglm-6b`	Modelzai/LLM-CHATGLM-6B	NVIDIA L4 (24GB)
Bloomz 560m	`bigscience/bloomz-560m`	Modelzai/LLM-Bloomz-560m	CPU
Bloomz 1.7b	`bigscience/bloomz-1b7`		CPU
Bloomz 3B	`bigscience/bloomz-3b`		NVIDIA L4 (24GB)
Bloomz 7.1b	`bigscience/bloomz-7b1`		NVIDIA A100 (40GB)

Gunakan Openai Python SDK

Maka Anda dapat menggunakan Openai Python SDK untuk berinteraksi dengan model:

 import openai
openai . api_base = "http://localhost:8000"
openai . api_key = "any"

# create a chat completion
chat_completion = openai . ChatCompletion . create ( model = "any" , messages = [{ "role" : "user" , "content" : "Hello world" }])

Integrasi dengan Langchain

Anda juga dapat mengintegrasikan modelz-llm dengan langchain:

 import openai
openai . api_base = "http://localhost:8000"
openai . api_key = "any"

from langchain . llms import OpenAI

llm = OpenAI ()

llm . generate ( prompts = [ "Could you please recommend some movies?" ])