Vector Search with FAISS

การค้นหาเวกเตอร์โดยใช้ Embeddings, FAISS และปริมาณผลิตภัณฑ์

ภาพรวม

โครงการนี้ใช้ระบบการค้นหาที่มีความคล้ายคลึงกันที่มีประสิทธิภาพสำหรับเนื้อหาการบรรยายโดยใช้ Embeddings, FAISS และการหาปริมาณผลิตภัณฑ์ด้วยการใช้ดัชนีและ KMEAN ที่กำหนดเอง ช่วยให้คุณค้นหาการบรรยายที่คล้ายกันตามเนื้อหาที่เป็นข้อความทำให้สามารถดึงข้อมูลได้อย่างรวดเร็วและคำแนะนำของการบรรยาย

คุณสมบัติ

• การประมวลผลข้อมูลล่วงหน้า : โหลดและประมวลผลการบรรยายและข้อมูลสอบถามล่วงหน้า (สร้างโดย chatgpt)
• EMBEDDINGS : คำนวณและทำให้เป็นมาตรฐาน EMBEDDING โดยใช้โมเดลที่ระบุ
• การจัดทำดัชนี FAISS : สร้างและประเมินดัชนี FAISS สำหรับการค้นหาความคล้ายคลึงกันอย่างมีประสิทธิภาพ
• การประเมินประสิทธิภาพ : คำนวณการเรียกคืนและการสืบค้นต่อการวัดวินาที (QPS)
• ปริมาณ : ใช้การหาปริมาณผลิตภัณฑ์ (PQ) ด้วยดัชนีที่กำหนดเองเพื่อลดข้อกำหนดการจัดเก็บ
• การสร้างภาพ : การวัดประสิทธิภาพการพล็อตสำหรับการวิเคราะห์

สารบัญ

• การติดตั้ง
• การเตรียมข้อมูล
• การกำหนดค่า
• การใช้งาน
• การพึ่งพาอาศัยกัน
• ใบอนุญาต

การติดตั้ง

1. โคลนที่เก็บ

   git clone https://github.com/bariscamli/Vector-Search-with-FAISS.git
   cd Vector-Search-with-FAISS

2. สร้างสภาพแวดล้อมเสมือนจริง (เป็นทางเลือก แต่แนะนำ)

   python -m venv venv
   source venv/bin/activate  # On Windows use `venvScriptsactivate`

3. สร้างสภาพแวดล้อมเสมือนจริง (เป็นทางเลือก แต่แนะนำ)

   pip install -r requirements.txt

การเตรียมข้อมูล

• ข้อมูลการบรรยาย: วางข้อความการบรรยายของคุณในไฟล์ที่ระบุโดย LECTURE_FILE ใน config.py แต่ละบรรทัดควรมีการบรรยายหนึ่งครั้ง

• ข้อมูลการสืบค้น: วางข้อความการสืบค้นของคุณในไฟล์ที่ระบุโดย QUERY_FILE ใน config.py แต่ละบรรทัดควรมีแบบสอบถามหนึ่งแบบ รูปแบบตัวอย่างสำหรับ Lectures.txt:

   Introduction to Machine Learning
  Advanced Topics in Deep Learning
  Statistical Methods in Data Science
  ...
  

  รูปแบบตัวอย่างสำหรับ queries.txt:

   Basics of Neural Networks
  Regression Analysis Techniques
  Clustering Algorithms Overview
  ...
  

การกำหนดค่า

การกำหนดค่าทั้งหมดได้รับการจัดการผ่านไฟล์ config.py พารามิเตอร์สำคัญ ได้แก่ :

 File Paths
- LECTURE_FILE: Path to the lecture data file.
- QUERY_FILE: Path to the query data file.
Embedding Model
- EMBEDDING_MODEL_NAME: Name or path of the embedding model to use.
- BATCH_SIZE: Batch size for computing embeddings.
FAISS Parameters
- FAISS_EFSEARCH_VALUES: List of efSearch values for performance evaluation.
Quantization Parameters
- PQ_M: Number of sub-vector quantizers.
- PQ_NBITS: Number of bits per sub-vector.
- KMEANS_MAX_ITER: Maximum iterations for k-means during PQ training.

การใช้งาน

เรียกใช้สคริปต์หลักเพื่อเรียกใช้งานท่อเต็ม:

python main.py

จะเกิดอะไรขึ้นเมื่อคุณเรียกใช้ Main.py

1. การโหลดข้อมูลและการประมวลผลล่วงหน้า

   • การบรรยายและการสืบค้นถูกโหลดจากไฟล์ที่ระบุ
   • ข้อมูลข้อความถูกประมวลผลล่วงหน้า (เช่นโทเค็นการทำความสะอาด)

2. การคำนวณการคำนวณ

   • แบบจำลองการฝังจะถูกโหลดตาม EMBEDDING_MODEL_NAME
   • Embeddings สำหรับการบรรยายและการสืบค้นถูกคำนวณและทำให้เป็นมาตรฐาน

3. การคำนวณพื้นฐาน

   • เมทริกซ์ความคล้ายคลึงกันพื้นฐานถูกคำนวณโดยใช้ผลิตภัณฑ์ DOT
   • พื้นฐานใช้สำหรับการเปรียบเทียบประสิทธิภาพ

4. การสร้างและประเมินผลดัชนี FAISS

   • ดัชนี FAISS ถูกสร้างขึ้นสำหรับการบรรยายแบบฝัง
   • ดัชนีได้รับการประเมินผ่านค่า efSearch ที่แตกต่างกัน
   • ตัวชี้วัดประสิทธิภาพ (เรียกคืน@1 และ QPS) ถูกคำนวณ

5. การสร้างภาพข้อมูลประสิทธิภาพ

   • พล็อตถูกสร้างขึ้นแสดงการแลกเปลี่ยนระหว่างการเรียกคืนและ QP
   • พล็อตจะแสดงโดยใช้ matplotlib

6. การวัดปริมาณ

   • ดัชนี PQ ที่กำหนดเอง ( CustomIndexPQ ) ถูกสร้างขึ้น
   • ดัชนีได้รับการฝึกฝนและการบรรยายจะถูกเพิ่มเข้าไป

7. การค้นหาตัวอย่าง

   • การค้นหาตัวอย่างดำเนินการโดยใช้ดัชนี PQ
   • ผลลัพธ์ถูกบันทึกไว้แสดงการบรรยายที่คล้ายกันกับการบรรยายที่กำหนด

การพึ่งพาอาศัยกัน

• Python 3.7 หรือสูงกว่า
• แพ็คเกจ Python ที่ต้องการ (ติดตั้งผ่าน chendreet.txt):
  • numpy
  • matplotlib
  • faiss (ติดตั้งผ่าน pip install faiss-cpu หรือ faiss-gpu หากคุณมี GPU)
  • logging
  • ห้องสมุดแบบจำลองการฝัง (เช่น transformers หากใช้แบบจำลองการกอดใบหน้า)

ใบอนุญาต

โครงการนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต MIT ดูใบอนุญาต

ไฟล์สำหรับรายละเอียด