qa_llm

Pipeline de réponses aux questions avec des modèles VectordB et de grands langues (LLM)

Aperçu:

Bienvenue dans le pipeline de réponses aux questions avec des modèles VectordB et de grands langues (LLM). Ce projet vise à créer un pipeline efficace et évolutif pour les tâches de réponse aux questions à l'aide de ChromAdB qui est une base de données de vecteurs open source, en collaboration avec LLAMA2 qui est également un modèle de grande langue (LLM).

Flux de travail:

1. Entrée utilisateur: les utilisateurs fournissent des sources de données textuelles dans des formats tels que .pdf. Ces documents servent de base à la génération de réponses.

2. Chargement de documents: le chargeur de documents de Langchain est utilisé pour charger et prétraiter efficacement les documents fournis, assurant la compatibilité avec les tâches en aval.

3. Coupage de documents: les documents chargés sont divisés en morceaux plus petits et gérables pour améliorer l'efficacité du processus de réponse aux questions.

4. Incorporer le stockage dans VectordB (ChromAdB): les intégres des morceaux sont générés et stockés dans ChromAdB, la technologie sous-jacente de VectordB, permettant une récupération d'informations rapide et précise.

5. Traitement des requêtes: les requêtes utilisateur sont converties en intégres, permettant une comparaison transparente avec les intégres de documents stockés.

6. Recherche de la base de données vectorielle: le VectordB est interrogé avec les intégres générés pour récupérer des morceaux d'informations pertinents, en optimisant le processus de réponse aux questions.

7. Traitement LLM (LLAMA2): Les incorporations récupérées sont transmises à LLAMA2, un LLM, qui génère des réponses contextuelles et précises aux requêtes utilisateur.

Commencer

Pour lancer le pipeline de réponses aux questions, les utilisateurs doivent fournir leurs sources de données textuelles dans des formats pris en charge (le format actuellement pris en charge est: PDF, CSV, HTML, XLSX, DOCX, XML, JSON ). Suivez la section suivante pour assurer une installation et une configuration appropriées des dépendances.

Guide d'exécution

Suivez ces étapes pour exécuter le pipeline de réponses aux questions avec succès:

1. Installez les dépendances: assurez-vous que toutes les dépendances requises sont installées. Exécutez les commandes suivantes dans une cellule de cahier:

    !pip install langchain
   !pip install PyPDF
   !pip install sentence_transformers
   !pip install chromadb
   !pip install accelerate
   !pip install bitsandbytes
   !pip install jq
   !pip install unstructured
   

2. Personnaliser les paramètres:

   Ouvrez le cahier et localisez les paramètres suivants:

   • JQ_SChema: Personnalisez ce paramètre en fonction de votre schéma de données. Définissez la structure de vos données textuelles pour un chargement et un traitement appropriés.

   • input_path: spécifiez le chemin d'accès à votre source de données textuelle, comme un fichier .pdf. Assurez-vous que le chemin est correctement défini sur votre document.

3. Token d'autorisation de visage étreint: Assurez-vous d'obtenir un jeton d'autorisation en étreignant le visage pour télécharger le modèle LLAMA2. Ce jeton est crucial pour accéder au modèle. Définissez le jeton dans la section appropriée du cahier.

4. Exécutez le cahier: exécutez la cellule du cahier Jupyter par cellule. Assurez-vous que chaque cellule s'exécute avec succès sans erreurs.

Contributions

Nous accueillons les contributions et les commentaires de la communauté. Que vous identifiiez des problèmes, que vous ayez des suggestions d'améliorations ou que vous souhaitiez étendre les fonctionnalités, votre contribution est précieuse pour nous. N'hésitez pas à contribuer au projet. Merci d'avoir exploré notre projet.