horace

Гораций: Сервер чат -бота LLM с плагинами CHATGPT

Важно: война в Украине все еще продолжается. Каждый день российские солдаты изнасилования, убийства, пыток и депортации украинских гражданских лиц. Посетите эту страницу, чтобы увидеть, как вы можете поддержать Украину сегодня.

Гораций позволяет реализовать пользовательский чат -бот с вашим выбором LLM и набора плагинов CHATGPT. Он работает как сервер WebSocket, позволяя легко добавить чат-бот на основе LLM в ваше веб-приложение или мобильное приложение.

Функции:

• WebSocket Chatbot Server
• Докерский дружелюбный
• Образец веб -клиентов и клиентов CLI предоставлены
• ПЛАНГАЕТНЫЕ БАКЕНДЫ LLM (в настоящее время OpenAI API с CHATGPT или GPT-4)
• Поддержка из ящика плагинов CHATGPT
• Поддерживаемые методы плагина CHATGPT: none , user_http , service_http
• Запрос проверки плагинов в соответствии с их спецификациями OpenAPI
• Обратная настройка для мелкозернистых инструкций.

Гораций опирается и расширяет Грейс, мой оригинальный чат-бот с LLM. Вот Гораций, работающий в режиме отладки с плагином Klarna Chatgpt, доступ к веб -клиенту:

demo_b7g7ztbb.mp4

Быстрый старт

1. Установите Python 3.10, если еще не установлен.
2. Клонировать это хранилище.
3. Перейдите к клонированному каталогу репозитория: cd horace
4. Создать новую виртуальную среду: python3 -m venv ./venv
5. Активировать виртуальную среду: source ./venv/bin/activate
6. Установить требования к проекту: pip3 install -r requirements.txt
7. Перейдите к каталогу app : cd app
8. Запустите сервер: OPENAI_API_KEY=openai-api-key python3 main.py (замените openai-api-key с вашим ключом API Openai-получите его здесь)
9. Запустить клиента:

• Для клиента CLI запустите это в другом окне терминала:

 cd horace
source ./venv/bin/activate
python3 app/horace-cli.py

• Для веб-клиента дважды щелкните client-demo/index.html в Explorer/Finder и т. Д., Чтобы открыть его в браузере.

Бег через Docker

1. Клонировать это хранилище.
2. Перейдите к клонированному каталогу репозитория: cd horace
3. Стройте изображение Docker: docker build -t horace:latest .
4. Запустить сервер:

 docker run --rm 
  -e OPENAI_API_KEY=openai-api-key 
  -p 8001:8001 
  --name horace 
  horace:latest

5. Запустить клиента:

• Для клиента CLI запустите это в другом окне терминала: docker exec -it horace python3 /app/horace-cli.py
• Для веб-клиента дважды щелкните client-demo/index.html в Explorer/Finder и т. Д., Чтобы открыть его в браузере.

Аргументы командной строки

main.py и horace-cli.py поддерживает несколько аргументов командной строки:

 python3 main.py --help
usage: main.py [-h] [--host HOST] [--port PORT] [--debug]

optional arguments:
  -h, --help   show this help message and exit
  --host HOST  bind host name
  --port PORT  bind port number
  --debug      enable debug mode

 python3 app/horace-cli.py --help
usage: horace-cli.py [-h] [--host HOST] [--port PORT]

optional arguments:
  -h, --help   show this help message and exit
  --host HOST  server host name
  --port PORT  server port number

Работа с Backends LLM

На данный момент поддерживается только бэкэнд API OpenAI. (Мне не известно о неопенайских LLM с уровнем подход к инструкции, достаточным для вызова плагина прямо сейчас.) Однако добавление пользовательской бэкэнд LLM с Горация довольно проста:

1. Унаследовать новый бэкэнд класс с Backend -базы, расположенной в backends/backend.py и реализуйте метод complete()
2. Поместите новый класс -модуль в каталог backends
3. Добавьте импорт нового модуля в main.py
4. Отрегулируйте отображение BACKENDS в main.py чтобы включить псевдоним вашего нового бэкэнда и название класса
5. Переключитесь на новый бэкэнд в config.yaml :

 backend:
  name: my_llm_backend

Обратитесь к бэкэнд API OpenAI ( backends/openai_backend.py ) в качестве примера.

Модель переключения с бэкэнд API OpenAI

Бэкэнд API OpenAI позволяет переключаться между следующими моделями:

• CHATGPT (по умолчанию): дешевая модель, которая работает достаточно хорошо.
• GPT-4: гораздо дороже, чем CHATGPT, но должен быть более пулентным.

См config.yaml для переключения между моделями API OpenAI.

Использование плагинов CATGPT

Гораций работает с плагинами Chatgpt из коробки. Чтобы включить плагин, добавьте его имя хоста с дополнительным номером порта в раздел plugins в config.yaml :

 router:
  plugins:
    # For https://github.com/artmatsak/chatgpt-todo-plugin/
    # - localhost:5002
    - www.klarna.com

После начала сервер запрашивает http://[hostname]/.well-known/ai-plugin.json для каждого плагина и берет его оттуда, чтобы загрузить их.

В настоящее время Гораций поддерживает методы none , user_http и server_http AUTH для плагинов CHATGPT. Если для плагина требуется токен Auth, Гораций просит вас за один во время запуска сервера. На данный момент токены автоэ. сохраняются незашифрованными в .plugin_auth.json .

Предоставление дополнительных инструкций

Подсказка LLM по умолчанию для Горация предназначена для того, чтобы сделать бот нейтральным. BOT не ограничивается плагинами, основанными на плагине запросов пользователей (например, бот бронирования в ресторане), и при этом он не нажимает на функциональность с поддержкой плагина на пользователя. Другими словами, вы можете пообщаться с ботом, как обычно, с Chatgpt; Если бот чувствует, что требуется метод плагина, он сделает это.

В реальных сценариях вы можете ограничить бот определенным возможностями, таким как бронирование стола (см. Приглашение Грейс для вдохновения), или, возможно, предоставить ему уникальный голос/личность. Для этого вы можете добавить инструкции в подсказку LLM, используя свойство extra_instructions в config.yaml :

 horace:
  # Any extra instructions to prepend the prompt with
  extra_instructions: >-
    You are a helpful and polite AI assistant.
  # extra_instructions: >-
  #   In your speech, you impersonate Jedi Master Yoda and crack jokes in response
  #   to mentions of other Star Wars characters.

Попробуйте расстроить блок Yoda выше, чтобы увидеть, как голос чат -бота соответственно. (Не забудьте перезапустить сервер после внесения каких -либо изменений в конфигурации.)

Заводящие тесты

Тесты еще не были обновлены с момента разрыва от благодати. Быть исправленным.