llmapi server

Servidor llmapi

Servidor LLMAPI de auto-host

Introdução

中文文档

O LLMapi-Server é um back-end abstrato que encapsula uma variedade de modelos de idiomas grandes (LLM, como ChatGPT, GPT-3, GPT-4, etc.) e fornece serviços de acesso simples por meio de OpenAPI

? Se for útil para você, por favor, estrela?

Diagrama

 Gráfico LR

Servidor Subgraph LLMapi
OpenApi -> Sessão
OpenApi -> pré_post
back -end do subgraf
Preenchimento de back -end de estilo:#f9f
pre_post-> chatgpt
pré_post-> Dall-e
pré_post-> llama
pré_post-> ...
fim
fim
Texto-> OpenApi
Imagem-> OpenApi
Incorporação-> Openapi
Outros-> Openapi

Back -ends suportado

• chatgpt : interface chatgpt oficial do OpenAI
• gpt3 : interface oficial do Openai GPT-3
• gpt-embedding : interface oficial de incorporação do OpenAI
• dall-e : interface oficial do Openai
• welm : interface LLM do WeChat
• newbing : nova pesquisa de bing com base no chatgpt （não oficial)

⏳ WIP

• lhama
• difusão estável
• Controlnet
• Sam (meta)

Instale e execute

1. execute localmente

 # python >= 3.8
python3 -m pip install -r requirements.txt

python3 run_api_server.py

2. Corra com o Docker

./build_docker.sh
./start_docker.sh

Visite servidor

1. Use o comando curl para acessar:

 # 1. Start a new session
curl -X POST -H " Content-Type: application/json " -d ' {"bot_type":"mock"} ' http://127.0.0.1:5050/v1/chat/start
# response sample: {"code":0,"msg":"Success","session":"123456"}

# 2. chat with LLMs
curl -X POST -H " Content-Type: application/json " -d ' {"session":"123456","content":"hello"} ' http://127.0.0.1:5050/v1/chat/ask
# response sample: {"code":0,"msg":"Success","reply":"Text mock reply for your prompt:hello","timestamp":1678865301.0842562}

# 3. Close the session and end chat
curl -X POST -H " Content-Type: application/json " -d ' {"session":"123456"} ' http://127.0.0.1:5050/v1/chat/end
# response: {"code":0,"msg":"Success"}

2. Usando ferramentas de linha de comando: llmapi_cli

llmapi_cli --host= " http://127.0.0.1:5050 " --bot=mock

3. Integrar no seu código Python com o módulo LLMAPI_CLI

 from llmapi_cli import LLMClient

client = LLMClient ( host = "http://127.0.0.1:5050" , bot = "mock" )

rep = client . ask ( "hello" )

print ( rep )

Conecte -se ao back -end do seu LLM!

1. Você precisa criar um novo nome de back -end no diretório de back -end (assumido como newllm ), você pode diretamente cp -r mock newllm
2. Referindo -se à implementação da mock , mude o nome de back -end para newllm
3. No diretório newllm , adicione as dependências necessárias e todo o desenvolvimento relacionado está vinculado a este diretório
4. Adicione suporte para newllm no backend.py