wandbot

bandoulière

Wandbot est un bot de réponses de questions conçu spécifiquement pour la documentation des poids et biais.

Quoi de neuf

Wandbot v1.2.0

Cette version présente un certain nombre de mises à jour et d'améliorations passionnantes:

• Appels LLM parallèles : a remplacé l'index lama-index par le LECL, permettant des appels parallèles parallèles à une efficacité accrue.
• Intégration de ChromADB : Passé de FAISS à ChromAdB pour tirer parti du filtrage et de la vitesse des métadonnées.
• Optimisation de l'amplificateur de requête : Amélioration de l'amplificateur de requête pour fonctionner avec un seul appel LLM.
• Pipeline de chiffon modulaire : divisez le pipeline de chiffon en trois modules distincts: amélioration de la requête, récupération et synthèse de réponse, pour une clarté et une maintenance améliorées.
• Récupération des documents des parents : introduit la fonctionnalité de récupération des documents des parents dans le module de récupération pour améliorer la contextualité.
• Réponse de sous-quête : Ajout des capacités de réponse à la sous-question dans le module de synthèse de réponse pour gérer plus efficacement les requêtes complexes.
• Restructuration de l'API : repensé l'API en routeurs distincts pour les opérations de récupération, de base de données et de chat.

Ces mises à jour font partie de notre engagement continu à améliorer les performances et la convivialité.

Évaluation

Anglais

Version Wandbot	Commentaire	précision de la réponse
1.0.0	Notre bot de guerre de base	53,8%
1.1.0	amélioration par rapport à la ligne de base; en production pour le plus long	72,5%
1.2.0	Notre nouveau Wandbot amélioré	81,6%

japonais

Version Wandbot	Commentaire	précision de la réponse
1.2.0	Notre nouveau Wandbot amélioré	56,3%
1.2.1	Ajouter le processus de traduction	71,9%

Caractéristiques

• Wandbot utilise une génération augmentée de récupération avec un backend ChromADB, garantissant des réponses efficaces et précises aux requêtes utilisateur en récupérant des documents pertinents.
• Il présente l'ingestion périodique des données et la génération de rapports, contribuant à l'amélioration continue du bot. Vous pouvez consulter le dernier rapport d'ingestion de données ici.
• Le bot est intégré à Discord et Slack, facilitant l'intégration transparente avec ces plateformes de collaboration populaires.
• La surveillance des performances et l'amélioration continue sont rendues possibles grâce à l'exploitation forestière et à l'analyse avec des tables de poids et de biais. Visitez l'espace de travail pour plus de détails ici.
• Wandbot a un mécanisme de secours pour la sélection du modèle, qui est utilisé lorsque GPT-4 ne parvient pas à générer une réponse.
• Les performances du bot sont évaluées à l'aide d'un mélange de mesures, y compris la précision de la récupération, la similitude des chaînes et l'exactitude des réponses générées par le modèle.
• Curieux de l'invite du système personnalisé utilisé par le bot? Vous pouvez voir l'invite complète ici.

Installation

Le projet est construit avec Python Version >=3.10.0,<3.11 et utilise la poésie pour gérer les dépendances. Suivez les étapes ci-dessous pour installer les dépendances nécessaires:

git clone [email protected]:wandb/wandbot.git
pip install poetry
cd wandbot
poetry install --all-extras
# Depending on which platform you want to run on run the following command:
# poetry install --extras discord # for discord
# poetry install --extras slack # for slack
# poetry install --extras api # for api 

Usage

Ingestion de données

Le module d'ingestion de données tire le code et la marque des référentiels de poids et de biais docodiles et des exemples les ingèrent dans des scolaristes pour le pipeline de génération augmentée de récupération. Pour ingérer les données, exécutez la commande suivante à partir de la racine du référentiel

poetry run python -m src.wandbot.ingestion

Vous remarquerez que les données sont ingérées dans le répertoire data/cache et stockées dans trois répertoires différents raw_data , vectorstore avec des fichiers individuels pour chaque étape du processus d'ingestion. Ces ensembles de données sont également stockés sous forme d'artefacts WANDB dans le projet défini dans la variable d'environnement WANDB_PROJECT et sont accessibles à partir du tableau de bord WANDB.

Exécuter le bot Q&R

Avant d'exécuter le bot de questions / réponses, assurez-vous que les variables d'environnement suivantes sont définies:

OPENAI_API_KEY
COHERE_API_KEY
SLACK_EN_APP_TOKEN
SLACK_EN_BOT_TOKEN
SLACK_EN_SIGNING_SECRET
SLACK_JA_APP_TOKEN
SLACK_JA_BOT_TOKEN
SLACK_JA_SIGNING_SECRET
WANDB_API_KEY
DISCORD_BOT_TOKEN
COHERE_API_KEY
WANDBOT_API_URL= " http://localhost:8000 "
WANDB_TRACING_ENABLED= " true "
WANDB_PROJECT= " wandbot-dev "
WANDB_ENTITY= " wandbot "

Une fois ces variables d'environnement définies, vous pouvez démarrer l'application BOT de questions / réponses en utilisant les commandes suivantes:

(poetry run uvicorn wandbot.api.app:app --host= " 0.0.0.0 " --port=8000 > api.log 2>&1 ) & 
(poetry run python -m wandbot.apps.slack -l en > slack_en_app.log 2>&1 ) & 
(poetry run python -m wandbot.apps.slack -l ja > slack_ja_app.log 2>&1 ) & 
(poetry run python -m wandbot.apps.discord > discord_app.log 2>&1 )

Vous devrez peut-être ensuite appeler le point de terminaison pour déclencher l'initialisation de l'application Wandbot finale:

curl http://localhost:8000/

Pour des instructions plus détaillées sur l'installation et l'exécution du bot, veuillez vous référer au fichier run.sh situé à la racine du référentiel.

L'exécution de ces commandes lancera les applications API, SlackBot et Discord Bot, vous permettant d'interagir avec le bot et de poser des questions liées à la documentation des poids et biais.

Exécution du pipeline d'évaluation

Assurez-vous de définir les environnements de votre terminal.

 set -o allexport; source .env; set +o allexport

Lancez le Wandbot avec 8 travailleurs. Cela accélère l'évaluation

 WANDBOT_EVALUATION=1 gunicorn wandbot.api.app:app --bind 0.0.0.0:8000 --timeout=200 --workers=8 --worker-class uvicorn.workers.UvicornWorker

Configuré pour l'évaluation

wandbot / src / wandbot / evaluation / config.py

• evaluation_strategy_name : nom d'attribut dans le tableau de bord d'évaluation de tissage
• eval_dataset :
  • Dernier ensemble de données d'évaluation de l'anglais: "tisser: /// wandbot / wandbot-eval / objet / wandbot_eval_data: ecqq0gjm077wi4yktwyhlprugiaxbmwugeb7iyhlfu"
  • Dernier ensemble de données sur l'évaluation japonaise: "tiser: /// wandbot / wandbot-eval-jp / objet / wandbot_eval_data_jp: ocwifiatevcksjushp0boec5gnhsmuyxurwqznbekla"
• eval_judge_model : Modèle utilisé pour le juge
• wandb_entity : Nom de l'entité Wandb pour enregistrer
• wandb_project : Nom du projet Wandb pour enregistrer

Lancez l'évaluation de W&B Weave

 python src/wandbot/evaluation/weave_eval/main.py

Aperçu de la mise en œuvre

1. Création de documents intégrés avec chromadb
2. Construire le ragpipère de questions et réponses
3. Sélection des modèles et mise en œuvre du mécanisme de secours
4. Déploiement du bot de questions / réponses sur Fastapi, Discord et Slack
5. Utilisation de tables de poids et de biais pour l'exploitation forestière et l'analyse
6. Évaluation des performances du bot de questions / réponses

Vous pouvez surveiller l'utilisation du bot dans le projet suivant: https://wandb.ai/wandbot/wandbot_public