modelz llm Download - modelz llm Quellcode Download

modelz llm

Anderer Quellcode

23.07.4

Herunterladen

Modellz LLM

Modelz LLM ist ein Inferenzserver, der die Verwendung von Open-Source-Großsprachenmodellen (LLMs) wie Fastchat, LLAMA und Chatglm entweder in lokalen oder in Cloud-basierten Umgebungen mit OpenAI-kompatibler API erleichtert.

Merkmale

OpenAI Compatible API : Modelz LLM bietet eine OpenAI -kompatible API für LLMs. Dies bedeutet, dass Sie die OpenAI Python SDK oder Langchain verwenden können, um mit dem Modell zu interagieren.
Self-Hosted : Modelz LLM kann leicht in lokalen oder Cloud-basierten Umgebungen bereitgestellt werden.
Open Source LLMS : Modelz LLM unterstützt Open Source LLMs wie Fastchat, LLAMA und Chatglm.
Cloud native : Wir stellen Docker-Bilder für verschiedene LLMs bereit, die einfach auf Kubernetes oder anderen Cloud-basierten Umgebungen (z. B. Modellz) bereitgestellt werden können.

Schneller Start

Installieren

pip install modelz-llm
# or install from source
pip install git+https://github.com/tensorchord/modelz-llm.git[gpu]

Führen Sie den selbst gehosteten API-Server aus

Bitte starten Sie zuerst den selbst gehosteten API-Server, indem Sie den Anweisungen folgen:

modelz-llm -m bigscience/bloomz-560m --device cpu

Derzeit unterstützen wir die folgenden Modelle:

Modellname	Umarmungsface -Modell	Docker -Bild	Empfohlene GPU
Fastchat T5	`lmsys/fastchat-t5-3b-v1.0`	modelzai/llm-fastchat-t5-3b	Nvidia L4 (24 GB)
Vicuna 7b Delta v1.1	`lmsys/vicuna-7b-delta-v1.1`	modelzai/llm-vicuna-7b	Nvidia A100 (40 GB)
Lama 7b	`decapoda-research/llama-7b-hf`	modelzai/llm-llama-7b	Nvidia A100 (40 GB)
Chatglm 6B INT4	`THUDM/chatglm-6b-int4`	modelzai/llm-chatglm-6b-int4	Nvidia T4 (16 GB)
Chatglm 6b	`THUDM/chatglm-6b`	modelzai/llm-chatglm-6b	Nvidia L4 (24 GB)
Bloomz 560 m	`bigscience/bloomz-560m`	modelzai/llm-bloomz-560m	CPU
Bloomz 1.7b	`bigscience/bloomz-1b7`		CPU
Bloomz 3b	`bigscience/bloomz-3b`		Nvidia L4 (24 GB)
Bloomz 7.1b	`bigscience/bloomz-7b1`		Nvidia A100 (40 GB)

Verwenden Sie Openai Python SDK

Dann können Sie das Openai Python SDK verwenden, um mit dem Modell zu interagieren:

 import openai
openai . api_base = "http://localhost:8000"
openai . api_key = "any"

# create a chat completion
chat_completion = openai . ChatCompletion . create ( model = "any" , messages = [{ "role" : "user" , "content" : "Hello world" }])

In Langchain integrieren

Sie können auch Modelz-Llm in Langchain integrieren:

 import openai
openai . api_base = "http://localhost:8000"
openai . api_key = "any"

from langchain . llms import OpenAI

llm = OpenAI ()

llm . generate ( prompts = [ "Could you please recommend some movies?" ])