wandbot

Wandbot

Wandbot是一个专门为权重和偏见文档设计的提问的机器人。

什么是新的

Wandbot v1.2.0

该版本引入了许多令人兴奋的更新和改进：

• 并行LLM调用：用LECL替换Llama-Index，从而使平行的LLM呼吁提高效率。
• Chromadb整合：从FAISS到Chromadb过渡，以利用元数据过滤和速度。
• 查询增强器优化：改进查询增强器，以通过单个LLM调用操作。
• 模块化抹布管道：将抹布管道分为三个不同的模块：查询增强，检索和响应合成，以提高清晰度和维护。
• 父文档检索：在检索模块中引入了父文档检索功能，以增强上下文性。
• 子查询答案：在响应合成模块中添加了子查询功能，以更有效地处理复杂查询。
• API重组：将API重新设计为单独的路由器进行检索，数据库和聊天操作。

这些更新是我们为提高性能和可用性的持续承诺的一部分。

评估

英语

Wandbot版本	评论	响应准确性
1.0.0	我们的基线挥手	53.8％
1.1.0	改善基线；最长的生产	72.5％
1.2.0	我们的新增强挥手	81.6％

日本人

Wandbot版本	评论	响应准确性
1.2.0	我们的新增强挥手	56.3％
1.2.1	添加翻译过程	71.9％

特征

• Wandbot通过Chromadb后端采用检索增强生成，通过检索相关文档来确保对用户查询的有效响应。
• 它具有定期摄入和报告生成的定期数据，从而有助于该机器人的持续改进。您可以在此处查看最新的数据摄入报告。
• 该机器人与Discord and Slack集成在一起，并促进了与这些流行的协作平台无缝集成。
• 通过使用权重和偏见表进行记录和分析，使性能监控和持续改进成为可能。在此处访问工作区以获取更多详细信息。
• Wandbot具有用于模型选择的后备机制，当GPT-4无法生成响应时，使用该机制。
• 使用指标的混合来评估机器人的性能，包括检索准确性，字符串相似性以及模型生成的响应的正确性。
• 对机器人使用的自定义系统提示感到好奇？您可以在此处查看完整的提示。

安装

该项目是用Python版本>=3.10.0,<3.11构建的，并利用诗歌来管理依赖关系。请按照以下步骤安装必要的依赖项：

git clone [email protected]:wandb/wandbot.git
pip install poetry
cd wandbot
poetry install --all-extras
# Depending on which platform you want to run on run the following command:
# poetry install --extras discord # for discord
# poetry install --extras slack # for slack
# poetry install --extras api # for api 

用法

数据摄入

数据摄入模块从权重和偏见存储库中拉出代码和降级。要摄取数据从存储库的根部运行以下命令

poetry run python -m src.wandbot.ingestion

您会注意到，数据被摄入到data/cache目录中，并存储在三个不同的目录raw_data ， vectorstore ，其中包括每个摄入过程的每个步骤的单个文件。这些数据集也被存储为WANDB工件在环境变量WANDB_PROJECT中定义的项目中，可以从Wandb仪表板访问。

运行问答机器人

在运行问答机器人之前，请确保设置以下环境变量：

OPENAI_API_KEY
COHERE_API_KEY
SLACK_EN_APP_TOKEN
SLACK_EN_BOT_TOKEN
SLACK_EN_SIGNING_SECRET
SLACK_JA_APP_TOKEN
SLACK_JA_BOT_TOKEN
SLACK_JA_SIGNING_SECRET
WANDB_API_KEY
DISCORD_BOT_TOKEN
COHERE_API_KEY
WANDBOT_API_URL= " http://localhost:8000 "
WANDB_TRACING_ENABLED= " true "
WANDB_PROJECT= " wandbot-dev "
WANDB_ENTITY= " wandbot "

设置了这些环境变量后，您可以使用以下命令启动问答机器人应用程序：

(poetry run uvicorn wandbot.api.app:app --host= " 0.0.0.0 " --port=8000 > api.log 2>&1 ) & 
(poetry run python -m wandbot.apps.slack -l en > slack_en_app.log 2>&1 ) & 
(poetry run python -m wandbot.apps.slack -l ja > slack_ja_app.log 2>&1 ) & 
(poetry run python -m wandbot.apps.discord > discord_app.log 2>&1 )

您可能需要调用端点以触发最终Wandbot应用程序初始化：

curl http://localhost:8000/

有关安装和运行机器人的更多详细说明，请参阅位于存储库根中的run.sh文件。

执行这些命令将启动API，SlackBot和Discord Bot应用程序，使您能够与机器人进行交互，并提出与权重和偏见文档有关的问题。

运行评估管道

确保设置终端中的环境。

 set -o allexport; source .env; set +o allexport

与8名工人一起启动Wandbot。这加快了评估

 WANDBOT_EVALUATION=1 gunicorn wandbot.api.app:app --bind 0.0.0.0:8000 --timeout=200 --workers=8 --worker-class uvicorn.workers.UvicornWorker

设置进行评估

wandbot/src/wandbot/evalution/config.py

• evaluation_strategy_name ：编织评估仪表板中的属性名称
• eval_dataset ：
  • 最新的英语评估数据集：“ weave：/// wandbot/wandbot-eval/object/object/wandbot_eval_data：ecqq qq0gjm077wi4wi4yktwyhlprpprpugiaxbmwugebmwugeb7iyhlfu”
  • 最新的日本评估数据集：“ weave：/// wandbot/wandbot-eval-jp/object/wandbot_eval_data_jp：ocwifiatevcksjushp0boec5gnhsmuyxurwqznbekla”
• eval_judge_model ：用于法官的模型
• wandb_entity ：wandb实体名称的记录名称
• wandb_project ：wandb项目名称记录

启动W＆B编织评估

 python src/wandbot/evaluation/weave_eval/main.py

实施概述

1. 用Chromadb创建文档嵌入
2. 构建问答ragpipeline
3. 选择模型和后备机制的实施
4. 在FastApi，Discord和Slack上部署问答机器人
5. 利用重量和偏见表进行记录和分析
6. 评估问答机器人的性能

您可以在以下项目中监视机器人的使用：https：//wandb.ai/wandbot/wandbot_public