llmapi server

LLMAPI -Server

Self-Host LLMAPI-Server

Einführung

中文文档

LLMAPI-Server ist ein abstraktes Backend, das eine Vielzahl von großsprachigen Modellen (LLM wie ChatGPT, GPT-3, GPT-4 usw.) zusammenfasst und einfache Zugangsdienste über OpenAPI bietet

? Wenn es Ihnen hilfreich ist, spiele es bitte mit?

Diagramm

 Graph LR

Subgraph LLMAPI -Server
OpenAPI -> Sitzung
OpenAPI -> PRE_POST
Subgraph Backend
Style Backend Fill:#F9F
PRE_POST-> CHATGPT
pre_post-> dall-e
PRE_POST-> LAMA
pre_post-> ...
Ende
Ende
Text-> OpenAPI
Bild-> OpenAPI
Einbettung-> OpenAPI
Andere-> OpenAPI

Unterstützte Backends

• chatgpt : OpenAs offizielle Chatgpt -Oberfläche
• gpt3 : OpenAs offizielle GPT-3-Schnittstelle
• gpt-embedding : OpenAs offizielle Einbettungsschnittstelle
• dall-e : OpenAs offizieller Dall · E-Schnittstelle
• welm : Wechats LLM -Schnittstelle
• newbing : Neue Bing -Suche basierend auf Chatgpt （Inoffiziell)

⏳ WIP

• Lama
• stabile Diffusion
• ControlNet
• Sam (meta)

Installieren und ausführen

1. vor Ort laufen

 # python >= 3.8
python3 -m pip install -r requirements.txt

python3 run_api_server.py

2. mit Docker laufen

./build_docker.sh
./start_docker.sh

Server besuchen

1. Verwenden Sie den Befehl curl , um zugreifen zu können:

 # 1. Start a new session
curl -X POST -H " Content-Type: application/json " -d ' {"bot_type":"mock"} ' http://127.0.0.1:5050/v1/chat/start
# response sample: {"code":0,"msg":"Success","session":"123456"}

# 2. chat with LLMs
curl -X POST -H " Content-Type: application/json " -d ' {"session":"123456","content":"hello"} ' http://127.0.0.1:5050/v1/chat/ask
# response sample: {"code":0,"msg":"Success","reply":"Text mock reply for your prompt:hello","timestamp":1678865301.0842562}

# 3. Close the session and end chat
curl -X POST -H " Content-Type: application/json " -d ' {"session":"123456"} ' http://127.0.0.1:5050/v1/chat/end
# response: {"code":0,"msg":"Success"}

2. Verwenden von Befehlszeilenwerkzeugen: llmapi_cli

llmapi_cli --host= " http://127.0.0.1:5050 " --bot=mock

3. Integrieren Sie in Ihren Python -Code in das LLMAPI_CLI -Modul

 from llmapi_cli import LLMClient

client = LLMClient ( host = "http://127.0.0.1:5050" , bot = "mock" )

rep = client . ask ( "hello" )

print ( rep )

Stecken Sie das Backend Ihres LLM!

1. Sie müssen im Backend -Verzeichnis einen neuen Backend cp -r mock newllm erstellen (angenommen von newllm
2. Ändern Sie den Backend -Namen in Newllm, in Bezug auf die Implementierung von mock den Backend -Namen in newllm
3. Fügen Sie im newllm -Verzeichnis die erforderlichen Abhängigkeiten hinzu, und alle damit verbundenen Entwicklung sind an dieses Verzeichnis gebunden
4. Fügen Sie Unterstützung für newllm in backend.py hinzu