llmapi serverダウンロードllmapi serverソースコードのダウンロード

llmapi server

その他のソースコード

1.0.0

ダウンロード

llmapiサーバー

セルフホストLLMAPIサーバー

紹介

中文文档

llmapi-serverは、さまざまな大規模な言語モデル（chatgpt、gpt-3、gpt-4などなど）をカプセル化する抽象的なバックエンドであり、Openapiを通じて簡単なアクセスサービスを提供します

？それがあなたに役立つなら、それを主演させてください？

図

グラフlr

サブグラフllmapiサーバー
Openapi->セッション
Openapi  - > pre_post
サブグラフバックエンド
スタイルバックエンドの塗りつぶし：＃f9f
pre_post-> chatgpt
pre_post-> dall-e
pre_post-> llama
pre_post-> ...
終わり
終わり
テキスト - > Openapi
画像 - > Openapi
埋め込み - > openapi
その他 - > openapi

サポートされているバックエンド

chatgpt ：Openaiの公式ChatGPTインターフェイス
gpt3 ：OpenAIの公式GPT-3インターフェイス
gpt-embedding ：Openaiの公式埋め込みインターフェイス
dall-e ：Openaiの公式Dall・Eインターフェイス
welm ：WeChatのLLMインターフェイス
newbing ：ChatGptに基づく新しいBing検索（非公式）

wip

ラマ
安定した拡散
ControlNet
サム（メタ）

インストールして実行します

ローカルで実行します

 # python >= 3.8
python3 -m pip install -r requirements.txt

python3 run_api_server.py

Dockerで実行します

./build_docker.sh
./start_docker.sh

サーバーにアクセスしてください

curlコマンドを使用してアクセスしてください。

 # 1. Start a new session
curl -X POST -H " Content-Type: application/json " -d ' {"bot_type":"mock"} ' http://127.0.0.1:5050/v1/chat/start
# response sample: {"code":0,"msg":"Success","session":"123456"}

# 2. chat with LLMs
curl -X POST -H " Content-Type: application/json " -d ' {"session":"123456","content":"hello"} ' http://127.0.0.1:5050/v1/chat/ask
# response sample: {"code":0,"msg":"Success","reply":"Text mock reply for your prompt:hello","timestamp":1678865301.0842562}

# 3. Close the session and end chat
curl -X POST -H " Content-Type: application/json " -d ' {"session":"123456"} ' http://127.0.0.1:5050/v1/chat/end
# response: {"code":0,"msg":"Success"}

コマンドラインツールの使用：LLMAPI_CLI

llmapi_cli --host= " http://127.0.0.1:5050 " --bot=mock

LLMAPI_CLIモジュールでPythonコードに統合します

 from llmapi_cli import LLMClient

client = LLMClient ( host = "http://127.0.0.1:5050" , bot = "mock" )

rep = client . ask ( "hello" )

print ( rep )