wandbot

Wandbot

Wandbot adalah bot imbalan pertanyaan yang dirancang khusus untuk dokumentasi bobot & bias.

Apa yang baru

Wandbot v1.2.0

Rilis ini memperkenalkan sejumlah pembaruan dan peningkatan yang menarik:

• Panggilan Parallel LLM : Mengganti Llama-Index dengan LECL, memungkinkan panggilan LLM paralel untuk meningkatkan efisiensi.
• Integrasi Chromadb : Transisi dari FAISS ke ChromadB untuk memanfaatkan pemfilteran dan kecepatan metadata.
• Optimasi Penambah Permintaan : Meningkatkan Penambah Kueri untuk beroperasi dengan satu panggilan LLM.
• Modular Rag Pipeline : Pisahkan pipa kain menjadi tiga modul berbeda: peningkatan permintaan, pengambilan, dan sintesis respons, untuk peningkatan kejelasan dan pemeliharaan.
• Pengambilan Dokumen Induk : Fungsi pengambilan dokumen induk yang diperkenalkan dalam modul pengambilan untuk meningkatkan kontekstualitas.
• Penjawab Sub-Query : Menambahkan kemampuan penjawab sub-kueri dalam modul sintesis respons untuk menangani kueri kompleks secara lebih efektif.
• Restrukturisasi API : Didesain ulang API menjadi router terpisah untuk pengambilan, basis data, dan operasi obrolan.

Pembaruan ini adalah bagian dari komitmen berkelanjutan kami untuk meningkatkan kinerja dan kegunaan.

Evaluasi

Bahasa inggris

Versi Wandbot	Komentar	akurasi respons
1.0.0	Wandbot baseline kami	53,8 %
1.1.0	peningkatan di garis dasar; dalam produksi untuk yang terpanjang	72,5 %
1.2.0	Wandbot yang disempurnakan baru kami	81,6 %

Jepang

Versi Wandbot	Komentar	akurasi respons
1.2.0	Wandbot yang disempurnakan baru kami	56,3 %
1.2.1	Tambahkan proses terjemahan	71,9 %

Fitur

• Wandbot menggunakan pengambilan generasi augmented dengan backend chromadb, memastikan tanggapan yang efisien dan akurat terhadap permintaan pengguna dengan mengambil dokumen yang relevan.
• Ini fitur konsumsi data berkala dan pembuatan laporan, berkontribusi pada peningkatan berkelanjutan bot. Anda dapat melihat laporan konsumsi data terbaru di sini.
• Bot terintegrasi dengan perselisihan dan kendur, memfasilitasi integrasi tanpa batas dengan platform kolaborasi populer ini.
• Pemantauan kinerja dan peningkatan berkelanjutan dimungkinkan melalui penebangan dan analisis dengan tabel bobot & bias. Kunjungi ruang kerja untuk lebih jelasnya di sini.
• Wandbot memiliki mekanisme fallback untuk pemilihan model, yang digunakan ketika GPT-4 gagal menghasilkan respons.
• Kinerja bot dievaluasi menggunakan campuran metrik, termasuk akurasi pengambilan, kesamaan string, dan kebenaran respons yang dihasilkan model.
• Penasaran tentang prompt sistem kustom yang digunakan oleh bot? Anda dapat melihat prompt lengkap di sini.

Instalasi

Proyek ini dibangun dengan Python Version >=3.10.0,<3.11 dan menggunakan puisi untuk mengelola dependensi. Ikuti langkah -langkah di bawah ini untuk menginstal dependensi yang diperlukan:

git clone [email protected]:wandb/wandbot.git
pip install poetry
cd wandbot
poetry install --all-extras
# Depending on which platform you want to run on run the following command:
# poetry install --extras discord # for discord
# poetry install --extras slack # for slack
# poetry install --extras api # for api 

Penggunaan

Konsumsi data

Modul konsumsi data menarik kode dan penurunan harga dari repositori bobot & bias Docodile dan contoh -contoh memasukkannya ke toko vektor untuk pengambilan pipa generasi augmented. Untuk menelan data jalankan perintah berikut dari root repositori

poetry run python -m src.wandbot.ingestion

Anda akan melihat bahwa data dicerna ke direktori data/cache dan disimpan dalam tiga direktori yang berbeda raw_data , vectorstore dengan file individual untuk setiap langkah proses konsumsi. Kumpulan data ini juga disimpan sebagai artefak wandb dalam proyek yang ditentukan dalam variabel lingkungan WANDB_PROJECT dan dapat diakses dari dasbor Wandb.

Menjalankan Bot Tanya Jawab

Sebelum menjalankan bot T&J, pastikan variabel lingkungan berikut diatur:

OPENAI_API_KEY
COHERE_API_KEY
SLACK_EN_APP_TOKEN
SLACK_EN_BOT_TOKEN
SLACK_EN_SIGNING_SECRET
SLACK_JA_APP_TOKEN
SLACK_JA_BOT_TOKEN
SLACK_JA_SIGNING_SECRET
WANDB_API_KEY
DISCORD_BOT_TOKEN
COHERE_API_KEY
WANDBOT_API_URL= " http://localhost:8000 "
WANDB_TRACING_ENABLED= " true "
WANDB_PROJECT= " wandbot-dev "
WANDB_ENTITY= " wandbot "

Setelah variabel lingkungan ini diatur, Anda dapat memulai aplikasi Bot T&J menggunakan perintah berikut:

(poetry run uvicorn wandbot.api.app:app --host= " 0.0.0.0 " --port=8000 > api.log 2>&1 ) & 
(poetry run python -m wandbot.apps.slack -l en > slack_en_app.log 2>&1 ) & 
(poetry run python -m wandbot.apps.slack -l ja > slack_ja_app.log 2>&1 ) & 
(poetry run python -m wandbot.apps.discord > discord_app.log 2>&1 )

Anda mungkin perlu menghubungi titik akhir untuk memicu inisialisasi aplikasi Wandbot akhir:

curl http://localhost:8000/

Untuk instruksi lebih rinci tentang menginstal dan menjalankan bot, silakan merujuk ke file run.sh yang terletak di root repositori.

Melaksanakan perintah ini akan meluncurkan aplikasi API, SlackBot, dan Discord Bot, memungkinkan Anda untuk berinteraksi dengan bot dan mengajukan pertanyaan terkait dengan dokumentasi bobot & bias.

Menjalankan Pipa Evaluasi

Pastikan untuk mengatur lingkungan di terminal Anda.

 set -o allexport; source .env; set +o allexport

Luncurkan Wandbot dengan 8 pekerja. Ini mempercepat evaluasi

 WANDBOT_EVALUATION=1 gunicorn wandbot.api.app:app --bind 0.0.0.0:8000 --timeout=200 --workers=8 --worker-class uvicorn.workers.UvicornWorker

Didirikan untuk evaluasi

wandbot/src/wandbot/evaluasi/config.py

• evaluation_strategy_name : Nama Atribut Di Dasbor Evaluasi Tenun
• eval_dataset :
  • Dataset Evaluasi Bahasa Inggris Terbaru: "Weave: /// Wandbot/Wandbot-Eval/Object/Wandbot_eval_Data: ecqq0gjm077wi4yktwyhlprpugiaxbmwugeb7iyhlfu"
  • Dataset Evaluasi Jepang Terbaru: "Weave: /// Wandbot/Wandbot-eval-Jp/Object/Wandbot_eval_data_jp: ocwifiatevcksjushp0boec5gnhsmuyxurwqznbekla"
• eval_judge_model : model yang digunakan untuk juri
• wandb_entity : nama entitas wandb untuk dicatat
• wandb_project : nama proyek wandb untuk dicatat

Luncurkan Evaluasi Weave W&B

 python src/wandbot/evaluation/weave_eval/main.py

Tinjauan Implementasi

1. Membuat Embeddings Dokumen dengan Chromadb
2. Membangun Tanya Jawab Ragpipeline
3. Pemilihan model dan implementasi mekanisme fallback
4. Penyebaran Bot Tanya Jawab di Fastapi, Perselisihan, dan Slack
5. Memanfaatkan tabel bobot & bias untuk penebangan dan analisis
6. Mengevaluasi kinerja bot tanya jawab

Anda dapat memantau penggunaan bot dalam proyek berikut: https://wandb.ai/wandbot/wandbot_public