llmapi server

Server llmapi

Server LLMAPI yang menjadi tuan rumah sendiri

PENDAHULUAN

中文文档

LLMAPI-Server adalah backend abstrak yang merangkum berbagai model bahasa besar (LLM, seperti ChatGPT, GPT-3, GPT-4, dll.), Dan menyediakan layanan akses sederhana melalui OpenAPI

? Jika bermanfaat bagi Anda, silakan bintangi?

Diagram

 grafik lr

Server Subgraph llmapi
OpenAPI -> Sesi
OpenAPI -> Pre_post
Subgraph Backend
Style Backend Fill:#f9f
pre_post-> chatgpt
pre_post-> dall-e
Pre_post-> llama
pre_post-> ...
akhir
akhir
Teks-> OpenAPI
Gambar-> OpenAPI
Embedding-> Openapi
Lainnya-> Openapi

Mendukung backend

• chatgpt : Antarmuka ChatGpt resmi Openai
• gpt3 : Antarmuka resmi GPT-3 Openai
• gpt-embedding : Antarmuka embedding resmi Openai
• dall-e : Antarmuka Dall Resmi Openai · E
• welm : Antarmuka LLM WeChat
• newbing : pencarian Bing baru berdasarkan chatgpt （tidak resmi)

⏳ WIP

• llama
• difusi stabil
• controlNet
• Sam (Meta)

Instal & Jalankan

1. Jalankan secara lokal

 # python >= 3.8
python3 -m pip install -r requirements.txt

python3 run_api_server.py

2. Jalankan dengan Docker

./build_docker.sh
./start_docker.sh

Kunjungi Server

1. Gunakan perintah curl untuk mengakses:

 # 1. Start a new session
curl -X POST -H " Content-Type: application/json " -d ' {"bot_type":"mock"} ' http://127.0.0.1:5050/v1/chat/start
# response sample: {"code":0,"msg":"Success","session":"123456"}

# 2. chat with LLMs
curl -X POST -H " Content-Type: application/json " -d ' {"session":"123456","content":"hello"} ' http://127.0.0.1:5050/v1/chat/ask
# response sample: {"code":0,"msg":"Success","reply":"Text mock reply for your prompt:hello","timestamp":1678865301.0842562}

# 3. Close the session and end chat
curl -X POST -H " Content-Type: application/json " -d ' {"session":"123456"} ' http://127.0.0.1:5050/v1/chat/end
# response: {"code":0,"msg":"Success"}

2. Menggunakan alat baris perintah: llmapi_cli

llmapi_cli --host= " http://127.0.0.1:5050 " --bot=mock

3. Integrasi ke dalam kode python Anda dengan modul llmapi_cli

 from llmapi_cli import LLMClient

client = LLMClient ( host = "http://127.0.0.1:5050" , bot = "mock" )

rep = client . ask ( "hello" )

print ( rep )

Colokkan ke backend LLM Anda!

1. Anda perlu membuat nama backend baru di direktori backend (diasumsikan newllm ), Anda dapat langsung cp -r mock newllm
2. Mengacu pada implementasi mock , ubah nama backend menjadi newllm
3. Di direktori newllm , tambahkan dependensi yang diperlukan, dan semua pengembangan terkait terikat pada direktori ini
4. Tambahkan dukungan untuk newllm di backend.py