horace

Horace: serveur de chatbot LLM avec plugins Chatgpt

IMPORTANT: La guerre en Ukraine est toujours en cours. Chaque jour, des soldats russes violaient, assassinaient, torturent et déportent des civils ukrainiens. Visitez cette page pour voir comment vous pouvez soutenir l'Ukraine aujourd'hui.

Horace vous permet d'implémenter un chatbot personnalisé avec votre choix de LLM et un ensemble de plugins ChatGpt. Il s'exécute en tant que serveur WebSocket, vous permettant d'ajouter facilement un chatbot alimenté par LLM à votre application Web ou mobile.

Caractéristiques:

• Serveur de chatbot WebSocket
• Docker
• Exemples de clients Web et CLI fournis
• Pluggable LLM Backends (API actuellement OpenAI avec Chatgpt ou GPT-4)
• Prise en charge prête à l'emploi pour les plugins Chatgpt
• Méthodes Auth du plugin ChatGPT Prise en charge: none , user_http , service_http
• Demandez la validation des plugins en fonction de leurs spécifications OpenAPI
• Personnalisation rapide pour les instructions à grains fins.

Horace s'appuie et étend Grace, mon chatbot d'origine alimenté par LLM. Voici Horace qui s'exécute en mode débogage avec le plugin Klarna Chatgpt, accessible via un client Web:

Demo_b7g7ztbb.mp4

Démarrage rapide

1. Installez Python 3.10, s'il n'est pas déjà installé.
2. Cloner ce référentiel.
3. Accédez au répertoire du référentiel cloné: cd horace
4. Créer un nouvel environnement virtuel: python3 -m venv ./venv
5. Activez l'environnement virtuel: source ./venv/bin/activate
6. Installer les exigences du projet: pip3 install -r requirements.txt
7. Accédez au répertoire app : cd app
8. Démarrez le serveur: OPENAI_API_KEY=openai-api-key python3 main.py (remplacer openai-api-key par votre touche API Openai - obtenez-le ici)
9. Lancez un client:

• Pour le client CLI, exécutez ceci dans une autre fenêtre de terminal:

 cd horace
source ./venv/bin/activate
python3 app/horace-cli.py

• Pour le client Web, double-cliquez sur client-demo/index.html dans Explorer / Finder, etc. pour l'ouvrir dans votre navigateur.

Courir via Docker

1. Cloner ce référentiel.
2. Accédez au répertoire du référentiel cloné: cd horace
3. Build the docker Image: docker build -t horace:latest .
4. Démarrez le serveur:

 docker run --rm 
  -e OPENAI_API_KEY=openai-api-key 
  -p 8001:8001 
  --name horace 
  horace:latest

5. Lancez un client:

• Pour le client CLI, exécutez-le dans une autre fenêtre de terminal: docker exec -it horace python3 /app/horace-cli.py
• Pour le client Web, double-cliquez sur client-demo/index.html dans Explorer / Finder, etc. pour l'ouvrir dans votre navigateur.

Arguments en ligne de commande

main.py et horace-cli.py prennent en charge quelques arguments en ligne de commande:

 python3 main.py --help
usage: main.py [-h] [--host HOST] [--port PORT] [--debug]

optional arguments:
  -h, --help   show this help message and exit
  --host HOST  bind host name
  --port PORT  bind port number
  --debug      enable debug mode

 python3 app/horace-cli.py --help
usage: horace-cli.py [-h] [--host HOST] [--port PORT]

optional arguments:
  -h, --help   show this help message and exit
  --host HOST  server host name
  --port PORT  server port number

Travailler avec les backends LLM

Pour le moment, seul le backend API OpenAI est pris en charge. (Je ne suis pas au courant des LLM non openai avec un niveau de suivi des instructions suffisant pour l'invocation du plugin en ce moment.) Cependant, l'ajout d'un backend LLM personnalisé avec Horace est assez simple:

1. Hériter une nouvelle classe backend à partir de la base Backend située dans backends/backend.py et implémentez la méthode complete()
2. Placer le nouveau module de classe dans le répertoire backends
3. Ajoutez une importation du nouveau module sur main.py
4. Ajustez le mappage BACKENDS dans main.py pour inclure l'alias de votre nouvel backend et le nom de la classe
5. Passez au nouveau backend dans config.yaml :

 backend:
  name: my_llm_backend

Reportez-vous au backend API OpenAI ( backends/openai_backend.py ) comme exemple.

Commutation du modèle avec le backend API OpenAI

Le backend API OpenAI vous permet de basculer entre les modèles suivants:

• ChatGpt (par défaut): un modèle bon marché à accès qui fonctionne assez bien.
• GPT-4: Beaucoup plus cher que Chatgpt mais devrait être plus à l'épreuve des balles.

Voir config.yaml pour basculer entre les modèles API OpenAI.

Utilisation des plugins Chatgpt

Horace travaille avec les plugins Chatgpt hors de la boîte. Pour activer un plugin, ajoutez son nom d'hôte avec un numéro de port en option dans la section plugins dans config.yaml :

 router:
  plugins:
    # For https://github.com/artmatsak/chatgpt-todo-plugin/
    # - localhost:5002
    - www.klarna.com

Au début, le serveur demande http://[hostname]/.well-known/ai-plugin.json pour chaque plugin et le prend à partir de là pour les charger.

Horace prend actuellement en charge les méthodes AUTH none , user_http et server_http pour les plugins ChatGPT. Si un jeton Auth est requis pour un plugin, Horace vous en demande un pendant le démarrage du serveur. Pour le moment, les jetons AUTH sont sauvés non cryptés dans .plugin_auth.json .

Fournir des instructions rapides supplémentaires

L'invite LLM par défaut pour Horace est conçue pour rendre le bot neutre. Le bot n'est ni limité aux demandes d'utilisateurs facilitées par le plugin (comme un bot de réservation de restaurant, par exemple), et il n'appuie pas de manière proactive la fonctionnalité compatible avec le plugin sur l'utilisateur. En d'autres termes, vous pouvez discuter avec le bot comme vous le feriez normalement avec Chatgpt; Si le bot estime que l'appel d'une méthode de plugin est nécessaire, il le fera.

Dans les scénarios du monde réel, vous voudrez peut-être limiter le bot à une portée particulière comme réserver une table (voir l'invite de Grace pour l'inspiration), ou peut-être lui fournir une voix / une personnalité unique. Pour ce faire, vous pouvez ajouter des instructions à l'invite LLM en utilisant la propriété extra_instructions dans config.yaml :

 horace:
  # Any extra instructions to prepend the prompt with
  extra_instructions: >-
    You are a helpful and polite AI assistant.
  # extra_instructions: >-
  #   In your speech, you impersonate Jedi Master Yoda and crack jokes in response
  #   to mentions of other Star Wars characters.

Essayez de découverte le bloc Yoda ci-dessus pour voir comment la voix du chatbot change en conséquence. (N'oubliez pas de redémarrer le serveur après avoir apporté des modifications à la configuration.)

Tests en cours d'exécution

Les tests n'ont pas encore été mis à jour depuis la suppression de Grace. À fixer.