CUDAQuest Semantic Crawl to Answer Engine

Documentation CUDA Système QA

Ce projet met en œuvre un système de réponse à la question (QA) pour la documentation CUDA. Il exploite la documentation NVIDIA CUDA, traite les données, les stocke dans une base de données vectorielle et utilise des techniques de récupération avancées pour répondre aux requêtes utilisateur.

Caractéristiques

• Crawling Web de la documentation Nvidia Cuda
• Chunking de données avancé basé sur la similitude sémantique
• Création et stockage d'intégration des vecteurs dans la base de données Milvus
• Extension de requête pour une récupération améliorée
• Récupération hybride combinant des méthodes basées sur BM25 et Bert
• Question répondant à l'utilisation d'un modèle de langue

Instructions de configuration

Condition préalable

• Python 3.7+
• PIP (installateur de package Python)

Installation

1. Clone le référentiel:
2. Créez un environnement virtuel (facultatif mais recommandé):
3. Installez les dépendances requises:

Dépendances

Les principales dépendances de ce projet sont:

• Scrapie: pour le scénario du Web
• Transformateurs de phrases: pour les incorporations de texte
• NLTK: pour les tâches de traitement du langage naturel
• RANK_BM25: pour la récupération de BM25
• torche et transformateurs: pour travailler avec des modèles de transformateurs
• rationalisation: pour créer des applications Web
• sélénium et webdriver_manager: pour le grattage Web
• Pymilvus: pour interagir avec la base de données vectorielle Milvus

Pour une liste complète des dépendances, reportez-vous au fichier requirements.txt .

Exécution du système

1. Assurez-vous que vous avez un serveur Milvus en cours d'exécution. Reportez-vous à la documentation Milvus pour les instructions d'installation et de configuration.

2. Exécutez le script principal: 3. Le système commencera par ramper la documentation CUDA, le traitement des données et les stocker dans la base de données Milvus. Cette configuration initiale peut prendre un certain temps.

3. Une fois la configuration terminée, vous pouvez commencer à poser des questions sur CUDA. Le système fournira des réponses en fonction des informations récupérées.

4. Pour quitter le système, tapez «quit» lorsqu'il est invité à une question.

Structure du projet

• main.py : le script principal qui orchestre l'ensemble du processus.
• crawler/web_crawler.py : contient la logique de rampe Web.
• data_processing/chunking.py : implémente les techniques avancées de section de données.
• data_processing/embedding.py : gère la création d'embeddings vectoriels.
• vector_db/milvus_db.py : gère les interactions avec la base de données Milvus.
• retrieval/query_expansion.py : implémente les techniques d'extension de requête.
• retrieval/hybrid_retrieval.py : contient la logique de récupération hybride.
• qa/llm_qa.py : gère le processus de réponse aux questions à l'aide d'un modèle de langue.

Personnalisation

• Vous pouvez ajuster le modèle d'incorporation en modifiant le modèle SentenceTransformer dans main.py
• La profondeur de l'exploration du Web peut être ajustée dans la fonction crawl_data (actuellement réglée à 5 niveaux).
• Le nombre de morceaux récupérés pour la réponse peut être modifié en modifiant le paramètre top_k dans l'appel de méthode retrieve .

Dépannage

Si vous rencontrez des problèmes:

• Assurez-vous que toutes les dépendances sont correctement installées.
• Vérifiez que le serveur Milvus est en cours d'exécution et accessible.
• Vérifiez que vous disposez d'une connexion Internet stable pour les rampes Web et les téléchargements de modèles.

Pour tout problème persistant, veuillez ouvrir un problème dans le référentiel GitHub.