llmapi server

LLMAPI Server

Self-Host LLMAPI Server

Введение

中文文档

LLMAPI-Server-это абстрактный бэкэнд, который инкапсулирует различные модели крупных языков (LLM, такие как CHATGPT, GPT-3, GPT-4 и т. Д.), И предоставляет простые услуги доступа через OpenAPI

? Если это полезно для вас, пожалуйста, снимайте это?

Диаграмма

 График LR

Subgraph Llmapi Server
OpenApi -> сессия
Openapi -> pre_post
Бэкэнд подграфа
Стиль Бэкэнд заполнение:#f9f
pre_post-> Chatgpt
pre_post-> dall-e
pre_post-> llama
pre_post-> ...
конец
конец
Текст-> openapi
Изображение-> OpenAPI
Внедрение-> openapi
Другие-> Openapi

Поддерживаемые бэкэнды

• chatgpt : официальный интерфейс OpenAI CHATGPT
• gpt3 : официальный интерфейс GPT-3 OpenAI
• gpt-embedding : официальный интерфейс Enfgeding Openai
• dall-e : Официальный интерфейс Openai Dall · E
• welm : интерфейс WeChat's LLM
• newbing : новый поиск Bing на основе CHATGPT (неофициальный)

⏳ WIP

• лама
• стабильная диффузия
• ControlNet
• Сэм (мета)

Установить и запустить

1. бежать локально

 # python >= 3.8
python3 -m pip install -r requirements.txt

python3 run_api_server.py

2. Беги с докером

./build_docker.sh
./start_docker.sh

Посетите сервер

1. Используйте команду curl для доступа:

 # 1. Start a new session
curl -X POST -H " Content-Type: application/json " -d ' {"bot_type":"mock"} ' http://127.0.0.1:5050/v1/chat/start
# response sample: {"code":0,"msg":"Success","session":"123456"}

# 2. chat with LLMs
curl -X POST -H " Content-Type: application/json " -d ' {"session":"123456","content":"hello"} ' http://127.0.0.1:5050/v1/chat/ask
# response sample: {"code":0,"msg":"Success","reply":"Text mock reply for your prompt:hello","timestamp":1678865301.0842562}

# 3. Close the session and end chat
curl -X POST -H " Content-Type: application/json " -d ' {"session":"123456"} ' http://127.0.0.1:5050/v1/chat/end
# response: {"code":0,"msg":"Success"}

2. Использование инструментов командной строки: llmapi_cli

llmapi_cli --host= " http://127.0.0.1:5050 " --bot=mock

3. Интегрируйте в свой код Python с модулем LLMAPI_CLI

 from llmapi_cli import LLMClient

client = LLMClient ( host = "http://127.0.0.1:5050" , bot = "mock" )

rep = client . ask ( "hello" )

print ( rep )

Подключитесь к бэкэнду вашего LLM!

1. Вам нужно создать новое имя бэкэнд в справочнике (предполагается, что это newllm ), вы можете напрямую cp -r mock newllm
2. Ссылаясь на реализацию mock , измените имя бэкэнд на newllm
3. В каталоге newllm добавьте необходимые зависимости, и вся связанная разработка связана с этим каталогом
4. Добавьте поддержку newllm в backend.py