CUDAQuest Semantic Crawl to Answer Engine

CUDA文档质量检查系统

该项目实现了CUDA文档的问答系统（QA）系统。它抓取了NVIDIA CUDA文档，处理数据，将其存储在矢量数据库中，并使用高级检索技术来回答用户查询。

特征

• NVIDIA CUDA文档的网络爬行
• 基于语义相似性的高级数据块
• MILVUS数据库中的矢量嵌入创建和存储
• 查询扩展以改进检索
• 混合检索结合了BM25和基于BERT的方法
• 使用语言模型回答问题

设置说明

先决条件

• Python 3.7+
• PIP（Python软件包安装程序）

安装

1. 克隆存储库：
2. 创建虚拟环境（可选但建议）：
3. 安装所需的依赖项：

依赖性

该项目的主要依赖项是：

• 零工：用于网络爬行
• 句子转换器：用于文本嵌入
• NLTK：用于自然语言处理任务
• rank_bm25：用于BM25检索
• 火炬和变压器：用于使用变压器模型
• 简化：用于创建Web应用程序
• Selenium和WebDriver_Manager：用于网络刮擦
• Pymilvus：与Milvus Vector数据库进行交互

有关依赖项的完整列表，请参阅requirements.txt文件。

运行系统

1. 确保您运行Milvus服务器。有关安装和设置说明，请参阅MILVUS文档。

2. 运行主脚本：3。系统将首先爬行CUDA文档，处理数据并将其存储在MILVUS数据库中。此初始设置可能需要一些时间。

3. 设置完成后，您可以开始询问有关CUDA的问题。该系统将根据检索到的信息提供答案。

4. 要退出系统，请在提示问题时输入“退出”。

项目结构

• main.py ：整理整个过程的主要脚本。
• crawler/web_crawler.py ：包含网络爬行逻辑。
• data_processing/chunking.py ：实施高级数据块技术。
• data_processing/embedding.py ：处理向量嵌入的创建。
• vector_db/milvus_db.py ：管理与MILVUS数据库的交互。
• retrieval/query_expansion.py ：实现查询扩展技术。
• retrieval/hybrid_retrieval.py ：包含混合检索逻辑。
• qa/llm_qa.py ：使用语言模型管理问题回答过程。

定制

• 您可以通过main.py修改SentenceTransformer模型来调整嵌入模型。
• 可以在crawl_data功能（当前设置为5个级别）中调整Web爬网的深度。
• 可以通过更改retrieve方法调用中的top_k参数来修改检索到答案的块的数量。

故障排除

如果您遇到任何问题：

• 确保正确安装所有依赖关系。
• 检查Milvus服务器是否正在运行和访问。
• 验证您具有稳定的Internet连接，用于网络爬行和模型下载。

对于任何持续问题，请在GitHub存储库中打开一个问题。