CUDAQuest Semantic Crawl to Answer Engine

Dokumentasi CUDA Sistem QA

Proyek ini mengimplementasikan sistem Penjawab Pertanyaan (QA) untuk dokumentasi CUDA. Ini merangkak dokumentasi NVIDIA CUDA, memproses data, menyimpannya dalam database vektor, dan menggunakan teknik pengambilan lanjutan untuk menjawab kueri pengguna.

Fitur

• Web merangkak dokumentasi nvidia cuda
• Data lanjutan chunking berdasarkan kesamaan semantik
• Vektor menanamkan pembuatan dan penyimpanan dalam database milvus
• Perluasan permintaan untuk peningkatan pengambilan
• Pengambilan Hibrida Menggabungkan BM25 dan Metode Berbasis Bert
• Pertanyaan menjawab menggunakan model bahasa

Petunjuk Pengaturan

Prasyarat

• Python 3.7+
• PIP (Penginstal Paket Python)

Instalasi

1. Klon Repositori:
2. Buat lingkungan virtual (opsional tetapi direkomendasikan):
3. Instal dependensi yang diperlukan:

Dependensi

Ketergantungan utama untuk proyek ini adalah:

• Scrapy: untuk merangkak web
• Transformer kalimat: untuk embeddings teks
• NLTK: untuk tugas pemrosesan bahasa alami
• RANK_BM25: untuk pengambilan BM25
• Obor dan Transformers: Untuk bekerja dengan model transformator
• StreamLit: Untuk membuat aplikasi web
• selenium dan webdriver_manager: untuk pengikisan web
• Pymilvus: Untuk berinteraksi dengan database Milvus Vector

Untuk daftar lengkap dependensi, lihat file requirements.txt .

Menjalankan sistem

1. Pastikan Anda menjalankan server Milvus. Lihat dokumentasi MILVUS untuk instruksi instalasi dan pengaturan.

2. Jalankan skrip utama: 3. Sistem akan dimulai dengan merangkak dokumentasi CUDA, memproses data, dan menyimpannya di database Milvus. Pengaturan awal ini mungkin memakan waktu.

3. Setelah pengaturan selesai, Anda dapat mulai mengajukan pertanyaan tentang CUDA. Sistem akan memberikan jawaban berdasarkan informasi yang diambil.

4. Untuk keluar dari sistem, ketik 'berhenti' saat diminta pertanyaan.

Struktur proyek

• main.py : Script utama yang mengatur seluruh proses.
• crawler/web_crawler.py : Berisi logika perayapan web.
• data_processing/chunking.py : Menerapkan teknik chunking data canggih.
• data_processing/embedding.py : menangani pembuatan embeddings vektor.
• vector_db/milvus_db.py : mengelola interaksi dengan database Milvus.
• retrieval/query_expansion.py : Menerapkan teknik ekspansi kueri.
• retrieval/hybrid_retrieval.py : berisi logika pengambilan hibrida.
• qa/llm_qa.py : Mengelola proses penjawab pertanyaan menggunakan model bahasa.

Kustomisasi

• Anda dapat menyesuaikan model embedding dengan memodifikasi model SentenceTransformer di main.py
• Kedalaman perayapan web dapat disesuaikan dalam fungsi crawl_data (saat ini diatur ke 5 level).
• Jumlah potongan yang diambil untuk dijawab dapat dimodifikasi dengan mengubah parameter top_k dalam panggilan metode retrieve .

Pemecahan masalah

Jika Anda mengalami masalah:

• Pastikan semua dependensi dipasang dengan benar.
• Periksa apakah server Milvus berjalan dan dapat diakses.
• Pastikan Anda memiliki koneksi internet yang stabil untuk merangkak web dan unduhan model.

Untuk masalah yang terus -menerus, buka masalah di repositori GitHub.