Скачать modelz llm - modelz llm -код скачать

modelz llm

Другой исходный код

23.07.4

Скачать

Modelz LLM

Modelz LLM-это сервер вывода, который облегчает использование моделей с широким языком с открытым исходным кодом (LLMS), таких как Fastchat, Llama и ChatGlm, в локальных или облачных средах с API совместимых с OpenAI .

Функции

API Copatible API OpenAI : Modelz LLM предоставляет API, совместимый с OpenAI для LLMS, что означает, что вы можете использовать SDK OpenAI Python или Langchain для взаимодействия с моделью.
Самостоятельно : Modelz LLM может быть легко развернут в локальных или облачных средах.
Open Source LLMS : Modelz LLM поддерживает LLM с открытым исходным кодом, такие как Fastchat, Llama и Chatglm.
Cloud Native : мы предоставляем изображения Docker для различных LLM, которые можно легко развернуть на Kubernetes или других облачных средах (например, Modelz)

Быстрый старт

Установить

pip install modelz-llm
# or install from source
pip install git+https://github.com/tensorchord/modelz-llm.git[gpu]

Запустите самостоятельный сервер API

Пожалуйста, сначала запустите самостоятельный сервер API, следуя инструкциям:

modelz-llm -m bigscience/bloomz-560m --device cpu

В настоящее время мы поддерживаем следующие модели:

Название модели	Модель объятия	Docker Image	Рекомендуемый графический процессор
Fastchat T5	`lmsys/fastchat-t5-3b-v1.0`	MODELZAI/LLM-FASTCHAT-T5-3B	Nvidia L4 (24 ГБ)
Vicuna 7b Delta v1.1	`lmsys/vicuna-7b-delta-v1.1`	MODELZAI/LLM-VICUNA-7B	NVIDIA A100 (40 ГБ)
Лама 7b	`decapoda-research/llama-7b-hf`	MODELZAI/LLM-LLAMA-7B	NVIDIA A100 (40 ГБ)
Chatglm 6b Int4	`THUDM/chatglm-6b-int4`	MODELZAI/LLM-CHATGLM-6B-Int4	Nvidia T4 (16 ГБ)
Chatglm 6b	`THUDM/chatglm-6b`	MODELZAI/LLM-CHATGLM-6B	Nvidia L4 (24 ГБ)
Bloomz 560M	`bigscience/bloomz-560m`	MODELZAI/LLM-BLOOMZ-560M	Процессор
Bloomz 1.7b	`bigscience/bloomz-1b7`		Процессор
Bloomz 3b	`bigscience/bloomz-3b`		Nvidia L4 (24 ГБ)
Bloomz 7.1b	`bigscience/bloomz-7b1`		NVIDIA A100 (40 ГБ)

Используйте Openai Python SDK

Затем вы можете использовать SDK Openai Python для взаимодействия с моделью:

 import openai
openai . api_base = "http://localhost:8000"
openai . api_key = "any"

# create a chat completion
chat_completion = openai . ChatCompletion . create ( model = "any" , messages = [{ "role" : "user" , "content" : "Hello world" }])

Интегрируйте с Langchain

Вы также можете интегрировать Modelz-LLM с Langchain:

 import openai
openai . api_base = "http://localhost:8000"
openai . api_key = "any"

from langchain . llms import OpenAI

llm = OpenAI ()

llm . generate ( prompts = [ "Could you please recommend some movies?" ])