modelz llm
23.07.4
ModelZ LLMは、 OpenAI互換APIを備えたローカルまたはクラウドベースの環境で、FastChat、Llama、ChatGlmなどのオープンソースの大規模な言語モデル（LLM）の利用を促進する推論サーバーです。
pip install modelz-llm
# or install from source
pip install git+https://github.com/tensorchord/modelz-llm.git[gpu]指示に従って、最初に自己ホストされたAPIサーバーを起動してください。
modelz-llm -m bigscience/bloomz-560m --device cpu現在、次のモデルをサポートしています。
| モデル名 | ハギングフェイスモデル | Docker画像 | 推奨GPU |
|---|---|---|---|
| FastChat T5 | lmsys/fastchat-t5-3b-v1.0 | Modelzai/LLM-Fastchat-T5-3B | Nvidia L4（24GB） |
| Vicuna 7b Delta V1.1 | lmsys/vicuna-7b-delta-v1.1 | Modelzai/LLM-Vicuna-7B | Nvidia A100（40GB） |
| llama 7b | decapoda-research/llama-7b-hf | modelzai/llm-llama-7b | Nvidia A100（40GB） |
| chatglm 6b int4 | THUDM/chatglm-6b-int4 | modelzai/llm-chatglm-6b-int4 | Nvidia T4（16GB） |
| Chatglm 6b | THUDM/chatglm-6b | modelzai/llm-chatglm-6b | Nvidia L4（24GB） |
| ブルーム560m | bigscience/bloomz-560m | modelzai/llm-bloomz-560m | CPU |
| ブルーム1.7b | bigscience/bloomz-1b7 | CPU | |
| Bloomz3b | bigscience/bloomz-3b | Nvidia L4（24GB） | |
| Bloomz 7.1b | bigscience/bloomz-7b1 | Nvidia A100（40GB） |
次に、Openai Python SDKを使用して、モデルと対話できます。
import openai
openai . api_base = "http://localhost:8000"
openai . api_key = "any"
# create a chat completion
chat_completion = openai . ChatCompletion . create ( model = "any" , messages = [{ "role" : "user" , "content" : "Hello world" }])Modelz-llmをLangchainと統合することもできます。
import openai
openai . api_base = "http://localhost:8000"
openai . api_key = "any"
from langchain . llms import OpenAI
llm = OpenAI ()
llm . generate ( prompts = [ "Could you please recommend some movies?" ])ModelZ-llmをModelZに直接展開することもできます。
ModelZ LLMは、オープンソースの大規模な言語モデルと対話するために、次のAPIをサポートしています。
/completions/chat/completions/embeddings/engines/<any>/embeddings/v1/completions/v1/chat/completions/v1/embeddings
