Vector Search with FAISS

Pencarian vektor menggunakan embeddings, faiss dan kuantisasi produk

Ringkasan

Proyek ini mengimplementasikan sistem pencarian kesamaan yang efisien untuk konten kuliah menggunakan embeddings, faiss dan kuantisasi produk dengan implementasi indeks & kmeans khusus. Ini memungkinkan Anda untuk menemukan kuliah yang sama berdasarkan konten tekstual, memungkinkan pengambilan cepat dan rekomendasi kuliah.

Fitur

• Preprocessing Data : Muat dan Preprocess Lecture and Query Data (dihasilkan oleh ChatGPT).
• Embeddings : Hitung dan menormalkan embeddings menggunakan model yang ditentukan.
• Pengindeksan FAISS : Membangun dan mengevaluasi indeks FAISS untuk pencarian kesamaan yang efisien.
• Evaluasi Kinerja : Hitung penarikan dan kueri per detik (QPS) metrik.
• Kuantisasi : Menerapkan Kuantisasi Produk (PQ) dengan indeks khusus untuk mengurangi persyaratan penyimpanan.
• Visualisasi : Metrik kinerja plot untuk analisis.

Daftar isi

• Instalasi
• Persiapan data
• Konfigurasi
• Penggunaan
• Dependensi
• Lisensi

Instalasi

1. Klon Repositori

   git clone https://github.com/bariscamli/Vector-Search-with-FAISS.git
   cd Vector-Search-with-FAISS

2. Buat lingkungan virtual (opsional tetapi direkomendasikan)

   python -m venv venv
   source venv/bin/activate  # On Windows use `venvScriptsactivate`

3. Buat lingkungan virtual (opsional tetapi direkomendasikan)

   pip install -r requirements.txt

Persiapan data

• Data kuliah: Tempatkan teks kuliah Anda dalam file yang ditentukan oleh LECTURE_FILE di config.py. Setiap baris harus berisi satu kuliah.

• Data kueri: Tempatkan teks kueri Anda dalam file yang ditentukan oleh QUERY_FILE di config.py. Setiap baris harus berisi satu kueri. Format Contoh untuk Lectures.txt:

   Introduction to Machine Learning
  Advanced Topics in Deep Learning
  Statistical Methods in Data Science
  ...
  

  Format contoh untuk kueri.txt:

   Basics of Neural Networks
  Regression Analysis Techniques
  Clustering Algorithms Overview
  ...
  

Konfigurasi

Semua konfigurasi dikelola melalui file config.py. Parameter kunci meliputi:

 File Paths
- LECTURE_FILE: Path to the lecture data file.
- QUERY_FILE: Path to the query data file.
Embedding Model
- EMBEDDING_MODEL_NAME: Name or path of the embedding model to use.
- BATCH_SIZE: Batch size for computing embeddings.
FAISS Parameters
- FAISS_EFSEARCH_VALUES: List of efSearch values for performance evaluation.
Quantization Parameters
- PQ_M: Number of sub-vector quantizers.
- PQ_NBITS: Number of bits per sub-vector.
- KMEANS_MAX_ITER: Maximum iterations for k-means during PQ training.

Penggunaan

Jalankan skrip utama untuk menjalankan pipa lengkap:

python main.py

Apa yang terjadi saat Anda menjalankan Main.py

1. Pemuatan dan preprocessing data

   • Kuliah dan kueri dimuat dari file yang ditentukan.
   • Data teks adalah preprosses (misalnya, tokenisasi, pembersihan).

2. Menanamkan perhitungan

   • Model embedding dimuat sesuai EMBEDDING_MODEL_NAME .
   • Embeddings untuk kuliah dan kueri dihitung dan dinormalisasi.

3. Komputasi dasar

   • Matriks kesamaan dasar dihitung menggunakan produk DOT.
   • Baseline digunakan untuk perbandingan kinerja.

4. Bangunan dan Evaluasi Indeks FAISS

   • Indeks FAISS dibangun untuk embeddings kuliah.
   • Indeks dievaluasi atas nilai -nilai efSearch yang berbeda.
   • Metrik kinerja (Recall@1 dan QPS) dihitung.

5. Visualisasi kinerja

   • Plot dihasilkan menunjukkan trade-off antara Recall dan QPS.
   • Plot ditampilkan menggunakan Matplotlib.

6. Kuantisasi

   • Indeks PQ khusus ( CustomIndexPQ ) dibuat.
   • Indeks dilatih dan kuliah ditambahkan ke dalamnya.

7. Contoh pencarian

   • Contoh pencarian dilakukan dengan menggunakan indeks PQ.
   • Hasil dicatat, menunjukkan kuliah yang sama dengan kuliah yang diberikan.

Dependensi

• Python 3.7 atau lebih tinggi
• Paket Python yang diperlukan (diinstal melalui persyaratan.txt):
  • numpy
  • matplotlib
  • faiss (Instal melalui pip install faiss-cpu atau faiss-gpu Jika Anda memiliki GPU)
  • logging
  • Pustaka Model Menyematkan (misalnya, transformers jika menggunakan model wajah memeluk)

Lisensi

Proyek ini dilisensikan di bawah lisensi MIT. Lihat lisensi

file untuk detailnya.