wandbot

varita

Wandbot es un bot de preguntas sobre preguntas diseñada específicamente para la documentación de pesos y sesgos.

Qué hay de nuevo

Wandbot v1.2.0

Esta versión presenta una serie de emocionantes actualizaciones y mejoras:

• LLM Parallel LLM : reemplazó el índice de LLAMA con el LECL, lo que permite que LLM paralelo requiere una mayor eficiencia.
• Integración de ChromAdB : transición de FAISS a ChromAdB para aprovechar el filtrado y la velocidad de los metadatos.
• Optimización del potenciador de consultas : mejoró el potenciador de consultas para operar con una sola llamada LLM.
• Tubería de RAG modular : divida la tubería RAG en tres módulos distintos: mejora de la consulta, recuperación y síntesis de respuesta, para mejorar la claridad y el mantenimiento.
• Recuperación del documento principal : la funcionalidad de recuperación del documento principal introducido dentro del módulo de recuperación para mejorar la contextualidad.
• Respuesta de subcreacción : capacidades de respuesta de subcreacción agregadas en el módulo de síntesis de respuesta para manejar consultas complejas de manera más efectiva.
• Reestructuración de API : rediseñó la API en enrutadores separados para operaciones de recuperación, base de datos y chat.

Estas actualizaciones son parte de nuestro compromiso continuo para mejorar el rendimiento y la usabilidad.

Evaluación

Inglés

versión wandbot	Comentario	precisión de la respuesta
1.0.0	Nuestro Wandbot de línea de base	53.8 %
1.1.0	mejora sobre la línea de base; en producción por más tiempo	72.5 %
1.2.0	nuestro nuevo Wandbot mejorado	81.6 %

japonés

versión wandbot	Comentario	precisión de la respuesta
1.2.0	nuestro nuevo Wandbot mejorado	56.3 %
1.2.1	Agregar proceso de traducción	71.9 %

Características

• Wandbot emplea la generación de recuperación aumentada con un backend de ChromAdB, asegurando respuestas eficientes y precisas a las consultas de los usuarios al recuperar documentos relevantes.
• Presenta la ingestión de datos periódicos y la generación de informes, contribuyendo a la mejora continua del bot. Puede ver el último informe de ingestión de datos aquí.
• El bot está integrado con Discord y Slack, facilitando una integración perfecta con estas populares plataformas de colaboración.
• El monitoreo del rendimiento y la mejora continua son posibles a través del registro y el análisis con tablas de pesas y sesgos. Visite el espacio de trabajo para obtener más detalles aquí.
• Wandbot tiene un mecanismo de respaldo para la selección del modelo, que se usa cuando GPT-4 no genera una respuesta.
• El rendimiento del bot se evalúa utilizando una combinación de métricas, incluida la precisión de la recuperación, la similitud de cuerdas y la corrección de las respuestas generadas por el modelo.
• ¿Curioso sobre el indicador personalizado utilizado por el bot? Puede ver el mensaje completo aquí.

Instalación

El proyecto está construido con la versión de Python >=3.10.0,<3.11 y utiliza poesía para administrar dependencias. Siga los pasos a continuación para instalar las dependencias necesarias:

git clone [email protected]:wandb/wandbot.git
pip install poetry
cd wandbot
poetry install --all-extras
# Depending on which platform you want to run on run the following command:
# poetry install --extras discord # for discord
# poetry install --extras slack # for slack
# poetry install --extras api # for api 

Uso

Ingestión de datos

El módulo de ingestión de datos extrae el código y la reducción del docodil de repositorios de pesas y sesgos y los ejemplos los ingieren en tiendas de vectores para la tubería de generación aumentada de recuperación. Para ingerir los datos, ejecute el siguiente comando desde la raíz del repositorio

poetry run python -m src.wandbot.ingestion

Notará que los datos se ingieren en el directorio data/cache y se almacenan en tres directorios diferentes raw_data , vectorstore con archivos individuales para cada paso del proceso de ingestión. Estos conjuntos de datos también se almacenan como artefactos WANDB en el proyecto definido en la variable de entorno WANDB_PROJECT y se puede acceder desde el tablero Wandb.

Ejecutando el bot de preguntas y respuestas

Antes de ejecutar el bot de preguntas y respuestas, asegúrese de establecer las siguientes variables de entorno:

OPENAI_API_KEY
COHERE_API_KEY
SLACK_EN_APP_TOKEN
SLACK_EN_BOT_TOKEN
SLACK_EN_SIGNING_SECRET
SLACK_JA_APP_TOKEN
SLACK_JA_BOT_TOKEN
SLACK_JA_SIGNING_SECRET
WANDB_API_KEY
DISCORD_BOT_TOKEN
COHERE_API_KEY
WANDBOT_API_URL= " http://localhost:8000 "
WANDB_TRACING_ENABLED= " true "
WANDB_PROJECT= " wandbot-dev "
WANDB_ENTITY= " wandbot "

Una vez que se establecen estas variables de entorno, puede iniciar la aplicación BOT de preguntas y respuestas utilizando los siguientes comandos:

(poetry run uvicorn wandbot.api.app:app --host= " 0.0.0.0 " --port=8000 > api.log 2>&1 ) & 
(poetry run python -m wandbot.apps.slack -l en > slack_en_app.log 2>&1 ) & 
(poetry run python -m wandbot.apps.slack -l ja > slack_ja_app.log 2>&1 ) & 
(poetry run python -m wandbot.apps.discord > discord_app.log 2>&1 )

Es posible que deba llamar al punto final para activar la inicialización final de la aplicación WandBot:

curl http://localhost:8000/

Para obtener instrucciones más detalladas sobre la instalación y la ejecución del bot, consulte el archivo run.sh ubicado en la raíz del repositorio.

La ejecución de estos comandos lanzará las aplicaciones API, SlackBot y Discord Bot, lo que le permitirá interactuar con el BOT y hacer preguntas relacionadas con la documentación de pesos y sesgos.

Ejecutando la tubería de evaluación

Asegúrese de establecer los entornos en su terminal.

 set -o allexport; source .env; set +o allexport

Lanza el Wandbot con 8 trabajadores. Esto acelera la evaluación

 WANDBOT_EVALUATION=1 gunicorn wandbot.api.app:app --bind 0.0.0.0:8000 --timeout=200 --workers=8 --worker-class uvicorn.workers.UvicornWorker

Configurar para la evaluación

wandbot/src/wandbot/evaluación/config.py

• evaluation_strategy_name : nombre del atributo en el panel de evaluación de tejido
• eval_dataset :
  • Último conjunto de datos de evaluación en inglés: "Weave: /// wandbot/wandbot-eeval/object/wandbot_eval_data: ecqq0gjm077wi4yktwyhlprpugiaxbmwugeb7iyhlfu"
  • Último conjunto de datos de evaluación japonesa: "Weave: /// wandbot/wandbot -eval-jp/object/wandbot_eval_data_jp: ocwiFiateVcksjushp0boec5gnhsmuyxurwqznbekla"
• eval_judge_model : modelo utilizado para el juez
• wandb_entity : Nombre de la entidad Wandb para el registro
• wandb_project : Nombre del proyecto Wandb para el registro

Lanzar evaluación de tejido de W&B

 python src/wandbot/evaluation/weave_eval/main.py

Descripción general de la implementación

1. Creación de incrustaciones de documentos con ChromAdB
2. Construyendo el Ragpipeline de preguntas y respuestas
3. Selección de modelos e implementación del mecanismo de retroceso
4. Despliegue del bot de preguntas y respuestas en Fastapi, Discord y Slack
5. Utilización de tablas de pesas y sesgos para el registro y análisis
6. Evaluar el rendimiento del bot de preguntas y respuestas

Puede monitorear el uso del bot en el siguiente proyecto: https://wandb.ai/wandbot/wandbot_public