wandbot

Wandbot

Wandbot ist ein Fragen-Answer-Bot, der speziell für Gewichte und Verzerrungen entwickelt wurde.

Was ist neu

Wandbot v1.2.0

Diese Veröffentlichung führt zu einer Reihe aufregender Updates und Verbesserungen:

• Parallele LLM-Anrufe : Ersetzt den Lama-Index durch das LECL und ermöglicht parallele LLM-Vorschriften für eine erhöhte Effizienz.
• Chromadb -Integration : Übergang von Faiss zu Chromadb, um die Metadatenfilterung und -geschwindigkeit zu nutzen.
• Optimierung der Abfrageverstärkerin : Verbesserte Abfrageverstärker, um mit einem einzigen LLM -Aufruf zu arbeiten.
• Modulare Lag -Pipeline : Teilen Sie die Lag -Pipeline in drei verschiedene Module auf: Abfrageverstärkung, Abruf und Reaktionssynthese für eine verbesserte Klarheit und Wartung.
• Abrufen von übergeordnetem Dokumenten : Einführung der Funktionalität des übergeordneten Dokuments Abruf innerhalb des Abrufmoduls zur Verbesserung der Kontextualität.
• Antwort unter der Beantwortung : Hinzugefügten der Antwortfunktionen von Unterfragen im Response-Synthesemodul, um komplexe Abfragen effektiver zu bearbeiten.
• API -Umstrukturierung : Die API für Abruf-, Datenbank- und Chat -Operationen in separate Router umgestaltet.

Diese Updates sind Teil unseres kontinuierlichen Engagements zur Verbesserung der Leistung und Benutzerfreundlichkeit.

Auswertung

Englisch

Wandbot -Version	Kommentar	Antwortgenauigkeit
1.0.0	Unsere Basis -Wandbot	53,8 %
1.1.0	Verbesserung gegenüber der Basislinie; in der Produktion für die längste	72,5 %
1.2.0	Unser neuer erweiterter Wandbot	81,6 %

japanisch

Wandbot -Version	Kommentar	Antwortgenauigkeit
1.2.0	Unser neuer erweiterter Wandbot	56,3 %
1.2.1	Übersetzungsprozess hinzufügen	71,9 %

Merkmale

• Wandbot setzt die Ergänzung von Abrufen mit einem Chromadb -Backend ein und stellt effiziente und genaue Antworten auf Benutzeranfragen sicher, indem relevante Dokumente abgerufen werden.
• Es verfügt über eine regelmäßige Aufnahme von Daten und die Berichterstellung, die zur kontinuierlichen Verbesserung des Bots beiträgt. Hier können Sie den neuesten Datenersatzbericht hier anzeigen.
• Der Bot ist in Discord und Slack integriert und ermöglicht die nahtlose Integration in diese beliebten Kollaborationsplattformen.
• Leistungsüberwachung und kontinuierliche Verbesserung werden durch Protokollierung und Analyse mit Gewichten und Verzerrungstabellen ermöglicht. Besuchen Sie den Arbeitsbereich für weitere Informationen.
• Wandbot hat einen Fallback-Mechanismus für die Modellauswahl, der verwendet wird, wenn GPT-4 keine Antwort erzeugt.
• Die Leistung des Bots wird unter Verwendung einer Mischung aus Metriken bewertet, einschließlich Abrufgenauigkeit, String-Ähnlichkeit und der Richtigkeit der modellgenerierten Antworten.
• Neugierig über die vom Bot verwendete benutzerdefinierte System -Eingabeaufforderung? Sie können die vollständige Eingabeaufforderung hier anzeigen.

Installation

Das Projekt wurde mit Python -Version >=3.10.0,<3.11 erstellt und verwendet Poesie für die Verwaltung von Abhängigkeiten. Befolgen Sie die folgenden Schritte, um die erforderlichen Abhängigkeiten zu installieren:

git clone [email protected]:wandb/wandbot.git
pip install poetry
cd wandbot
poetry install --all-extras
# Depending on which platform you want to run on run the following command:
# poetry install --extras discord # for discord
# poetry install --extras slack # for slack
# poetry install --extras api # for api 

Verwendung

Datenaufnahme

Das Datenvergasungsmodul ruft Code und Markdown aus Gewichts- und Verzerrungen von Repositories Docodile und Beispiele in VectorStores für die Pipeline der Abruf Augmented -Generation auf. Um die Daten aufzunehmen, führen Sie den folgenden Befehl aus dem Stammwurzel des Repositorys aus

poetry run python -m src.wandbot.ingestion

Sie werden feststellen, dass die Daten in das data/cache -Verzeichnis aufgenommen und in drei verschiedenen Verzeichnissen raw_data , vectorstore mit einzelnen Dateien für jeden Schritt des Einnahmeprozesses gespeichert werden. Diese Datensätze werden auch als WANDB -Artefakte in dem in der Umgebungsvariablen WANDB_PROJECT definierten Projekt gespeichert und können über das WANDB -Dashboard zugegriffen werden.

Führen Sie den Fragen und A -Bot aus

Stellen Sie vor dem Ausführen des Q & A Bot sicher, dass die folgenden Umgebungsvariablen festgelegt sind:

OPENAI_API_KEY
COHERE_API_KEY
SLACK_EN_APP_TOKEN
SLACK_EN_BOT_TOKEN
SLACK_EN_SIGNING_SECRET
SLACK_JA_APP_TOKEN
SLACK_JA_BOT_TOKEN
SLACK_JA_SIGNING_SECRET
WANDB_API_KEY
DISCORD_BOT_TOKEN
COHERE_API_KEY
WANDBOT_API_URL= " http://localhost:8000 "
WANDB_TRACING_ENABLED= " true "
WANDB_PROJECT= " wandbot-dev "
WANDB_ENTITY= " wandbot "

Sobald diese Umgebungsvariablen festgelegt sind, können Sie die Q & A -BOT -Anwendung mit den folgenden Befehlen starten:

(poetry run uvicorn wandbot.api.app:app --host= " 0.0.0.0 " --port=8000 > api.log 2>&1 ) & 
(poetry run python -m wandbot.apps.slack -l en > slack_en_app.log 2>&1 ) & 
(poetry run python -m wandbot.apps.slack -l ja > slack_ja_app.log 2>&1 ) & 
(poetry run python -m wandbot.apps.discord > discord_app.log 2>&1 )

Möglicherweise müssen Sie den Endpunkt aufrufen, um die endgültige Wandbot -App -Initialisierung auszulösen:

curl http://localhost:8000/

Ausführlichere Anweisungen zum Installieren und Ausführen des Bots finden Sie in der Datei Run.sh -Sh -Datei im Stamm des Repositorys.

Durch die Ausführung dieser Befehle werden die Anwendungen API, Slackbot und Discord Bot gestartet, sodass Sie mit dem Bot interagieren und Fragen zu den Dokumentationen für Gewichte und Vorurteile stellen können.

Ausführen der Bewertungspipeline

Stellen Sie sicher, dass Sie die Umgebungen in Ihrem Terminal einstellen.

 set -o allexport; source .env; set +o allexport

Starten Sie den Wandbot mit 8 Arbeitern. Dies beschleunigt die Bewertung

 WANDBOT_EVALUATION=1 gunicorn wandbot.api.app:app --bind 0.0.0.0:8000 --timeout=200 --workers=8 --worker-class uvicorn.workers.UvicornWorker

Zur Bewertung einrichten

Wandbot/src/Wandbot/evaluation/config.py

• evaluation_strategy_name : Attributname im Weave Evaluation Dashboard
• eval_dataset :
  • Neueste englische Bewertungsdatensatz: "Weave: /// Wandbot/Wandbot-eval/Object/Wandbot_eval_Data: ecqq0gjm077wi4yKtwyhlprpugiaxBmwugeB7iyHlfu"
  • Neueste japanische Bewertungsdatensatz: "Weave: /// Wandbot/Wandbot-eval-jp/Object/Wandbot_eval_data_jp: ocwifiatevcKsjushp0boec5gnhsmuyxurwqznbekla"
• eval_judge_model : Modell, das für den Richter verwendet wird
• wandb_entity : Wandb Entitätsname für Aufzeichnung
• wandb_project : Wandb -Projektname für Aufzeichnung

Start W & B Weave Evaluation

 python src/wandbot/evaluation/weave_eval/main.py

Überblick über die Implementierung

1. Erstellen von Dokumenteinbettungen mit Chromadb
2. Konstruktion der Q & A Ragpipeline
3. Auswahl von Modellen und Implementierung des Fallback -Mechanismus
4. Bereitstellung des Q & A -Bots für Fastapi, Zwietracht und Slack
5. Verwendung von Gewichten und Verzerrungstabellen zum Protokollieren und Analysen
6. Bewertung der Leistung des Q & A Bot

Sie können die Verwendung des Bots im folgenden Projekt überwachen: https://wandb.ai/wandbot/wandbot_public