bert faiss qa system

Sistem Tanya Jawab Menggunakan Database Bert dan FAISS

---

Daftar isi

• Sistem Tanya Jawab Menggunakan Database Bert dan FAISS
  • Daftar isi
  • Ringkasan
  • Fitur
  • Instalasi
    • Persyaratan
    • Pengaturan
  • Penggunaan
    • Antarmuka Aplikasi Web yang StreamLit
  • Cara kerjanya
  • Demo
    • T&J ekstraktif
    • T&J generatif tertutup
  • Ucapan Terima Kasih

---

Ringkasan

Proyek ini adalah sistem tanya jawab yang diimplementasikan menggunakan Distilbert untuk representasi teks dan FAISS (Pencarian Kesamaan AI Facebook) untuk pencarian kesamaan yang efisien dalam database vektor. Sistem ini dirancang untuk memberikan jawaban yang akurat dan relevan untuk pertanyaan pengguna dengan mencari melalui banyak dokumen.

Fitur

• Representasi teks berbasis distilbert : Memanfaatkan model Distilbert untuk mengubah pertanyaan dan dokumen menjadi representasi vektor padat.

• Database Vektor FAISS : Menyimpan representasi vektor dokumen untuk pencarian kesamaan yang cepat.

• Pengambilan yang efisien : Menemukan dokumen yang paling relevan dengan pertanyaan yang diberikan dengan melakukan pencarian kesamaan yang efisien dalam database Vector FAISS.

---

Instalasi

Persyaratan

• Python 3.x
• Pytorch
• Transformer
• Faiss
• StreamLit (untuk antarmuka berbasis web)

Pengaturan

1. Klon Repositori:

git clone https://github.com/VuBacktracking/bert-faiss-qa-sytem.git

2. Klon Repositori:

pip install -r requirements.txt

3. Latih dan unduh model Distilbert:

python3 trainer.py

Catatan : Anda dapat memeriksa model saya di tautan: https://huggingface.co/vubacktracking/distilbert-base-uncased-finetuned-squad2

4. Bangun Database Vektor FAISS:

python3 faiss_index.py

---

Penggunaan

Antarmuka Aplikasi Web yang StreamLit

streamlit run app.py

---

Buka browser web Anda dan navigasikan ke http://localhost:8501/ untuk menggunakan sistem tanya jawab berbasis web.

Cara kerjanya

1. Bert Embeddings :

   • Teks preproses dikonversi menjadi embeddings vektor menggunakan model Distilbert.

2. Pengindeksan FAISS :

   • Embeddings Distilbert dari dokumen diindeks dalam database Vector FAISS.

3. Pemrosesan Permintaan :

   • Ketika seorang pengguna memasukkan pertanyaan, pertanyaan dikonversi menjadi penyaringan distilbert.
   • FAISS digunakan untuk menemukan embeddings yang paling mirip (yaitu, dokumen yang paling relevan) dengan pertanyaan yang disematkan.

4. Jawab Ekstraksi :

   • Dokumen yang relevan diberi peringkat, dan bagian jawaban yang paling relevan diekstraksi dan disajikan kepada pengguna.

---

Demo

T&J ekstraktif

T&J generatif tertutup

---

Ucapan Terima Kasih

• Memeluk transformator wajah
• Pencarian Kesamaan AI Facebook (FAISS)