bert faiss qa system

ระบบถาม - ตอบโดยใช้ฐานข้อมูล Bert และ Faiss Vector

---

สารบัญ

• ระบบถาม - ตอบโดยใช้ฐานข้อมูล Bert และ Faiss Vector
  • สารบัญ
  • ภาพรวม
  • คุณสมบัติ
  • การติดตั้ง
    • ความต้องการ
    • การตั้งค่า
  • การใช้งาน
    • อินเทอร์เฟซแอปพลิเคชัน
  • มันทำงานอย่างไร
  • การสาธิต
    • ถาม - ตอบ
    • คำถามและคำตอบที่ปิดการใช้งาน
  • กิตติกรรมประกาศ

---

ภาพรวม

โครงการนี้เป็นระบบคำถามและคำตอบที่ใช้โดยใช้ Distilbert สำหรับการเป็นตัวแทนข้อความและ FAISS (การค้นหาความคล้ายคลึงกันของ Facebook AI) สำหรับการค้นหาความคล้ายคลึงกันที่มีประสิทธิภาพในฐานข้อมูลเวกเตอร์ ระบบได้รับการออกแบบมาเพื่อให้คำตอบที่ถูกต้องและเกี่ยวข้องกับการสืบค้นผู้ใช้โดยการค้นหาเอกสารจำนวนมาก

คุณสมบัติ

• การแสดงข้อความที่ใช้ Distilbert : ใช้โมเดล Distilbert เพื่อแปลงคำถามและเอกสารให้เป็นตัวแทนเวกเตอร์หนาแน่น

• ฐานข้อมูล FAISS Vector : เก็บการแสดงเวกเตอร์ของเอกสารสำหรับการค้นหาความคล้ายคลึงกันอย่างรวดเร็ว

• การดึงข้อมูลที่มีประสิทธิภาพ : ค้นหาเอกสารที่เกี่ยวข้องมากที่สุดสำหรับคำถามที่กำหนดโดยทำการค้นหาความคล้ายคลึงกันอย่างมีประสิทธิภาพในฐานข้อมูลเวกเตอร์ FAISS

---

การติดตั้ง

ความต้องการ

• Python 3.x
• pytorch
• หม้อแปลงไฟฟ้า
• คน
• Streamlit (สำหรับอินเทอร์เฟซบนเว็บ)

การตั้งค่า

1. โคลนที่เก็บ:

git clone https://github.com/VuBacktracking/bert-faiss-qa-sytem.git

2. โคลนที่เก็บ:

pip install -r requirements.txt

3. ฝึกอบรมและดาวน์โหลด Distilbert Model:

python3 trainer.py

หมายเหตุ : คุณสามารถตรวจสอบโมเดลของฉันในลิงค์: https://huggingface.co/vubacktracking/distilbert-base-uncased-finetuned-squad2

4. สร้างฐานข้อมูลเวกเตอร์ FAISS:

python3 faiss_index.py

---

การใช้งาน

อินเทอร์เฟซแอปพลิเคชัน

streamlit run app.py

---

เปิดเว็บเบราว์เซอร์ของคุณและนำทางไปที่ http://localhost:8501/ เพื่อใช้ระบบถามตอบบนเว็บ

มันทำงานอย่างไร

1. Bert Embeddings :

   • ข้อความที่ถูกประมวลผลล่วงหน้าจะถูกแปลงเป็น Embeddings เวกเตอร์โดยใช้โมเดล Distilbert

2. การจัดทำดัชนี FAISS :

   • Distilbert Embeddings ของเอกสารถูกจัดทำดัชนีในฐานข้อมูลเวกเตอร์ FAISS

3. การประมวลผลแบบสอบถาม :

   • เมื่อผู้ใช้ป้อนคำถามคำถามจะถูกแปลงเป็นการฝัง distilbert
   • FAISS ใช้เพื่อค้นหา embeddings ที่คล้ายกันมากที่สุด (เช่นเอกสารที่เกี่ยวข้องมากที่สุด) สำหรับการฝังคำถาม

4. คำตอบการแยก :

   • เอกสารที่เกี่ยวข้องได้รับการจัดอันดับและข้อความคำตอบที่เกี่ยวข้องมากที่สุดจะถูกสกัดและนำเสนอต่อผู้ใช้

---

การสาธิต

ถาม - ตอบ

คำถามและคำตอบที่ปิดการใช้งาน

---

กิตติกรรมประกาศ

• กอด Transformers
• การค้นหาความคล้ายคลึงกันของ Facebook AI (FAISS)