CUDAQuest Semantic Crawl to Answer Engine

CUDA文檔質量檢查系統

該項目實現了CUDA文檔的問答系統（QA）系統。它抓取了NVIDIA CUDA文檔，處理數據，將其存儲在矢量數據庫中，並使用高級檢索技術來回答用戶查詢。

特徵

• NVIDIA CUDA文檔的網絡爬行
• 基於語義相似性的高級數據塊
• MILVUS數據庫中的矢量嵌入創建和存儲
• 查詢擴展以改進檢索
• 混合檢索結合了BM25和基於BERT的方法
• 使用語言模型回答問題

設置說明

先決條件

• Python 3.7+
• PIP（Python軟件包安裝程序）

安裝

1. 克隆存儲庫：
2. 創建虛擬環境（可選但建議）：
3. 安裝所需的依賴項：

依賴性

該項目的主要依賴項是：

• 零工：用於網絡爬行
• 句子轉換器：用於文本嵌入
• NLTK：用於自然語言處理任務
• rank_bm25：用於BM25檢索
• 火炬和變壓器：用於使用變壓器模型
• 簡化：用於創建Web應用程序
• Selenium和WebDriver_Manager：用於網絡刮擦
• Pymilvus：與Milvus Vector數據庫進行交互

有關依賴項的完整列表，請參閱requirements.txt文件。

運行系統

1. 確保您運行Milvus服務器。有關安裝和設置說明，請參閱MILVUS文檔。

2. 運行主腳本：3。系統將首先爬行CUDA文檔，處理數據並將其存儲在MILVUS數據庫中。此初始設置可能需要一些時間。

3. 設置完成後，您可以開始詢問有關CUDA的問題。該系統將根據檢索到的信息提供答案。

4. 要退出系統，請在提示問題時輸入“退出”。

項目結構

• main.py ：整理整個過程的主要腳本。
• crawler/web_crawler.py ：包含網絡爬行邏輯。
• data_processing/chunking.py ：實施高級數據塊技術。
• data_processing/embedding.py ：處理向量嵌入的創建。
• vector_db/milvus_db.py ：管理與MILVUS數據庫的交互。
• retrieval/query_expansion.py ：實現查詢擴展技術。
• retrieval/hybrid_retrieval.py ：包含混合檢索邏輯。
• qa/llm_qa.py ：使用語言模型管理問題回答過程。

定制

• 您可以通過main.py修改SentenceTransformer模型來調整嵌入模型。
• 可以在crawl_data功能（當前設置為5個級別）中調整Web爬網的深度。
• 可以通過更改retrieve方法調用中的top_k參數來修改檢索到答案的塊的數量。

故障排除

如果您遇到任何問題：

• 確保正確安裝所有依賴關係。
• 檢查Milvus服務器是否正在運行和訪問。
• 驗證您具有穩定的Internet連接，用於網絡爬行和模型下載。

對於任何持續問題，請在GitHub存儲庫中打開一個問題。