wandbot

Wandbot

Wandbot是一個專門為權重和偏見文檔設計的提問的機器人。

什麼是新的

Wandbot v1.2.0

該版本引入了許多令人興奮的更新和改進：

• 並行LLM調用：用LECL替換Llama-Index，從而使平行的LLM呼籲提高效率。
• Chromadb整合：從FAISS到Chromadb過渡，以利用元數據過濾和速度。
• 查詢增強器優化：改進查詢增強器，以通過單個LLM調用操作。
• 模塊化抹布管道：將抹布管道分為三個不同的模塊：查詢增強，檢索和響應合成，以提高清晰度和維護。
• 父文檔檢索：在檢索模塊中引入了父文檔檢索功能，以增強上下文性。
• 子查詢答案：在響應合成模塊中添加了子查詢功能，以更有效地處理複雜查詢。
• API重組：將API重新設計為單獨的路由器進行檢索，數據庫和聊天操作。

這些更新是我們為提高性能和可用性的持續承諾的一部分。

評估

英語

Wandbot版本	評論	響應準確性
1.0.0	我們的基線揮手	53.8％
1.1.0	改善基線；最長的生產	72.5％
1.2.0	我們的新增強揮手	81.6％

日本人

Wandbot版本	評論	響應準確性
1.2.0	我們的新增強揮手	56.3％
1.2.1	添加翻譯過程	71.9％

特徵

• Wandbot通過Chromadb後端採用檢索增強生成，通過檢索相關文檔來確保對用戶查詢的有效響應。
• 它具有定期攝入和報告生成的定期數據，從而有助於該機器人的持續改進。您可以在此處查看最新的數據攝入報告。
• 該機器人與Discord and Slack集成在一起，並促進了與這些流行的協作平台無縫集成。
• 通過使用權重和偏見表進行記錄和分析，使性能監控和持續改進成為可能。在此處訪問工作區以獲取更多詳細信息。
• Wandbot具有用於模型選擇的後備機制，當GPT-4無法生成響應時，使用該機制。
• 使用指標的混合來評估機器人的性能，包括檢索準確性，字符串相似性以及模型生成的響應的正確性。
• 對機器人使用的自定義系統提示感到好奇？您可以在此處查看完整的提示。

安裝

該項目是用Python版本>=3.10.0,<3.11構建的，並利用詩歌來管理依賴關係。請按照以下步驟安裝必要的依賴項：

git clone [email protected]:wandb/wandbot.git
pip install poetry
cd wandbot
poetry install --all-extras
# Depending on which platform you want to run on run the following command:
# poetry install --extras discord # for discord
# poetry install --extras slack # for slack
# poetry install --extras api # for api 

用法

數據攝入

數據攝入模塊從權重和偏見存儲庫中拉出代碼和降級。要攝取數據從存儲庫的根部運行以下命令

poetry run python -m src.wandbot.ingestion

您會注意到，數據被攝入到data/cache目錄中，並存儲在三個不同的目錄raw_data ， vectorstore ，其中包括每個攝入過程的每個步驟的單個文件。這些數據集也被存儲為WANDB工件在環境變量WANDB_PROJECT中定義的項目中，可以從Wandb儀表板訪問。

運行問答機器人

在運行問答機器人之前，請確保設置以下環境變量：

OPENAI_API_KEY
COHERE_API_KEY
SLACK_EN_APP_TOKEN
SLACK_EN_BOT_TOKEN
SLACK_EN_SIGNING_SECRET
SLACK_JA_APP_TOKEN
SLACK_JA_BOT_TOKEN
SLACK_JA_SIGNING_SECRET
WANDB_API_KEY
DISCORD_BOT_TOKEN
COHERE_API_KEY
WANDBOT_API_URL= " http://localhost:8000 "
WANDB_TRACING_ENABLED= " true "
WANDB_PROJECT= " wandbot-dev "
WANDB_ENTITY= " wandbot "

設置了這些環境變量後，您可以使用以下命令啟動問答機器人應用程序：

(poetry run uvicorn wandbot.api.app:app --host= " 0.0.0.0 " --port=8000 > api.log 2>&1 ) & 
(poetry run python -m wandbot.apps.slack -l en > slack_en_app.log 2>&1 ) & 
(poetry run python -m wandbot.apps.slack -l ja > slack_ja_app.log 2>&1 ) & 
(poetry run python -m wandbot.apps.discord > discord_app.log 2>&1 )

您可能需要調用端點以觸發最終Wandbot應用程序初始化：

curl http://localhost:8000/

有關安裝和運行機器人的更多詳細說明，請參閱位於存儲庫根中的run.sh文件。

執行這些命令將啟動API，SlackBot和Discord Bot應用程序，使您能夠與機器人進行交互，並提出與權重和偏見文檔有關的問題。

運行評估管道

確保設置終端中的環境。

 set -o allexport; source .env; set +o allexport

與8名工人一起啟動Wandbot。這加快了評估

 WANDBOT_EVALUATION=1 gunicorn wandbot.api.app:app --bind 0.0.0.0:8000 --timeout=200 --workers=8 --worker-class uvicorn.workers.UvicornWorker

設置進行評估

wandbot/src/wandbot/evalution/config.py

• evaluation_strategy_name ：編織評估儀表板中的屬性名稱
• eval_dataset ：
  • 最新的英語評估數據集：“ weave：/// wandbot/wandbot-eval/object/object/wandbot_eval_data：ecqq qq0gjm077wi4wi4yktwyhlprpprpugiaxbmwugebmwugeb7iyhlfu”
  • 最新的日本評估數據集：“ weave：/// wandbot/wandbot-eval-jp/object/wandbot_eval_data_jp：ocwifiatevcksjushp0boec5gnhsmuyxurwqznbekla”
• eval_judge_model ：用於法官的模型
• wandb_entity ：wandb實體名稱的記錄名稱
• wandb_project ：wandb項目名稱記錄

啟動W＆B編織評估

 python src/wandbot/evaluation/weave_eval/main.py

實施概述

1. 用Chromadb創建文檔嵌入
2. 構建問答ragpipeline
3. 選擇模型和後備機制的實施
4. 在FastApi，Discord和Slack上部署問答機器人
5. 利用重量和偏見表進行記錄和分析
6. 評估問答機器人的性能

您可以在以下項目中監視機器人的使用：https：//wandb.ai/wandbot/wandbot_public