Download modelz llm - modelz llm Download de código fonte

modelz llm

Outro código-fonte

23.07.4

Baixar

Modelz LLM

O Modelz LLM é um servidor de inferência que facilita a utilização de modelos de idiomas grandes de código aberto (LLMS), como fastchat, llama e chatglm, em ambientes locais ou baseados em nuvem com API compatível com o OpenAI .

Características

API compatível com o OpenAI : Modelz LLM fornece uma API compatível com o OpenAI para LLMS, o que significa que você pode usar o OpenAI Python SDK ou Langchain para interagir com o modelo.
Auto-hospedado : o Modelz LLM pode ser facilmente implantado em ambientes locais ou baseados em nuvem.
Open Source LLMS : Modelz LLM suporta LLMs de código aberto, como fastchat, llama e chatglm.
Native em nuvem : fornecemos imagens do Docker para diferentes LLMs, que podem ser facilmente implantados em Kubernetes, ou outros ambientes baseados em nuvem (por exemplo, Modelz)

Início rápido

Instalar

pip install modelz-llm
# or install from source
pip install git+https://github.com/tensorchord/modelz-llm.git[gpu]

Execute o servidor API auto-hospedado

Por favor, inicie o servidor API auto-hospedado seguindo as instruções:

modelz-llm -m bigscience/bloomz-560m --device cpu

Atualmente, apoiamos os seguintes modelos:

Nome do modelo	Modelo de Huggingface	Imagem do Docker	GPU recomendado
Fastchat t5	`lmsys/fastchat-t5-3b-v1.0`	Modelzai/LLM-Fastchat-T5-3b	Nvidia L4 (24 GB)
Vicuna 7b Delta v1.1	`lmsys/vicuna-7b-delta-v1.1`	Modelzai/LLM-Vicuna-7b	NVIDIA A100 (40 GB)
LLAMA 7B	`decapoda-research/llama-7b-hf`	Modelzai/LLM-llama-7b	NVIDIA A100 (40 GB)
Chatglm 6b Int4	`THUDM/chatglm-6b-int4`	Modelzai/LLM-Chatglm-6b-Int4	Nvidia T4 (16 GB)
Chatglm 6b	`THUDM/chatglm-6b`	Modelzai/llm-chatglm-6b	Nvidia L4 (24 GB)
Bloomz 560m	`bigscience/bloomz-560m`	Modelzai/LLM-Bloomz-560m	CPU
Bloomz 1.7b	`bigscience/bloomz-1b7`		CPU
Bloomz 3b	`bigscience/bloomz-3b`		Nvidia L4 (24 GB)
Bloomz 7.1b	`bigscience/bloomz-7b1`		NVIDIA A100 (40 GB)

Use o OpenAi Python SDK

Em seguida, você pode usar o SDK do Openai Python para interagir com o modelo:

 import openai
openai . api_base = "http://localhost:8000"
openai . api_key = "any"

# create a chat completion
chat_completion = openai . ChatCompletion . create ( model = "any" , messages = [{ "role" : "user" , "content" : "Hello world" }])

Integrar -se ao Langchain

Você também pode integrar o Modelz-LLM com Langchain:

 import openai
openai . api_base = "http://localhost:8000"
openai . api_key = "any"

from langchain . llms import OpenAI

llm = OpenAI ()

llm . generate ( prompts = [ "Could you please recommend some movies?" ])