CUDAQuest Semantic Crawl to Answer Engine

Система QA документации CUDA

Этот проект реализует систему ответа на вопрос (QA) для документации CUDA. Он сканирует документацию NVIDIA CUDA, обрабатывает данные, хранит их в векторной базе данных и использует расширенные методы поиска для ответа на запросы пользователей.

Функции

• Веб -ползание документации Nvidia cuda
• Усовершенствованные данные облигации на основе семантического сходства
• Встроение и хранение вектора в базе данных Milvus
• Расширение запроса для улучшения поиска
• Гибридный поиск, объединяющий методы BM25 и BERT
• Ответ на вопрос с использованием языковой модели

Инструкции по настройке

Предварительные условия

• Python 3.7+
• PIP (установщик пакета Python)

Установка

1. Клонировать репозиторий:
2. Создайте виртуальную среду (необязательно, но рекомендуется):
3. Установите требуемые зависимости:

Зависимости

Основными зависимостями для этого проекта являются:

• Скрара: для ползания в Интернете
• Трансформаторы предложений: для текстовых внедрений
• NLTK: для задач обработки естественного языка
• rank_bm25: для BM25 поиск
• Факел и трансформаторы: для работы с моделями трансформаторов
• Streamlit: для создания веб -приложений
• selenium и webdriver_manager: для соскоб
• Pymilvus: для взаимодействия с базой данных вектора Milvus

Для получения полного списка зависимостей см. Файл requirements.txt .

Запуск системы

1. Убедитесь, что у вас работает сервер Milvus. Обратитесь к документации Milvus для установки и настройки инструкций.

2. Запустите основной сценарий: 3. Система начнется с ползания документации CUDA, обработки данных и хранения в базе данных Milvus. Эта первоначальная настройка может занять некоторое время.

3. После завершения настройки вы можете начать задавать вопросы о CUDA. Система предоставит ответы на основе полученной информации.

4. Чтобы выйти из системы, введите «уйти», когда будет предложено на вопрос.

Структура проекта

• main.py : основной сценарий, который организует весь процесс.
• crawler/web_crawler.py : содержит логику ползания.
• data_processing/chunking.py : реализует передовые методы Chunking Data.
• data_processing/embedding.py : обрабатывает создание векторных внедрений.
• vector_db/milvus_db.py : управляет взаимодействиями с базой данных Milvus.
• retrieval/query_expansion.py : реализует методы расширения запросов.
• retrieval/hybrid_retrieval.py : содержит гибридную логику поиска.
• qa/llm_qa.py : управляет процессом ответа на вопрос с использованием языковой модели.

Настройка

• Вы можете настроить модель встраивания, изменяя модель SentenceTransformer в main.py
• Глубина ползания в Интернете может быть скорректирована в функции crawl_data (в настоящее время установлена ​​на 5 уровней).
• Количество полученных кусков для ответа может быть изменено путем изменения параметра top_k в вызове метода retrieve .

Поиск неисправностей

Если вы столкнетесь с какими -либо проблемами:

• Убедитесь, что все зависимости правильно установлены.
• Убедитесь, что сервер Milvus работает и доступен.
• Убедитесь, что у вас есть стабильное подключение к Интернету для веб -полки и загрузки моделей.

Для любых постоянных проблем, пожалуйста, откройте проблему в репозитории GitHub.