chat_with_your_docs

titre	emoji	couleur	colort	SDK	sdk_version	app_file	épinglé	licence
Discuter avec vos documents		bleu	gris	gradio	4.41.0	app.py	FAUX	mit

Discuter avec vos documents

Introduction

---

L'application ChatWithyNeDocs Chat est une application Python qui vous permet de discuter avec plusieurs formats de documents comme PDF, pages Web et vidéos YouTube. Vous pouvez poser des questions sur les PDF en utilisant le langage naturel, et l'application fournira des réponses pertinentes en fonction du contenu des documents. Cette application utilise un modèle de langue pour générer des réponses précises à vos requêtes. Veuillez noter que l'application ne répondra qu'aux questions liées aux documents chargés.

Comment ça marche

---

L'application suit ces étapes pour fournir des réponses à vos questions:

1. Chargement du DOC: l'application lit plusieurs types de documents et extrait leur contenu texte.

2. Chaîne de texte: le texte extrait est divisé en morceaux plus petits qui peuvent être traités efficacement.

3. Modèle linguistique: l'application utilise un modèle de langue pour générer des représentations vectorielles (intégres) des morceaux de texte.

4. Correspondance de similitude: lorsque vous posez une question, l'application la compare aux morceaux de texte et identifie les plus similaires sémantiquement.

5. Génération de réponse: les morceaux sélectionnés sont transmis au modèle de langue, qui génère une réponse basée sur le contenu pertinent des documents.

Dépendances et installation

---

Pour installer le chat avec votre application Docs, veuillez suivre ces étapes:

1. Télécharger la bibliothèque Olllama

    curl https://ollama.ai/install.sh | sh
   

2. Tirez les modèles de chat que nous utiliserons, dans ce cas, nous utiliserons Llama2, Mistral et Gemma

    ollama pull llama2
   

    ollama pull mistral
   

    ollama pull gemma
   

3. Créez un nouvel environnement avec Python 3.9 et activez-le, dans ce cas, nous utiliserons conda

    conda create -n cwd python=3.9
   

    conda activate cwd
   

4. Clone le référentiel de votre machine locale.

    git clone https://github.com/jorge-armando-navarro-flores/chat_with_your_docs.git
   

    cd chat_with_your_docs
   

5. Installez les dépendances requises en exécutant la commande suivante:

    pip install -r requirements.txt
   

6. Installez FFMPEG pour les vidéos YouTube:

    sudo apt-get install ffmpeg
   

Usage

---

Pour utiliser le chat avec votre application Docs, suivez ces étapes:

1. Exécutez le fichier main.py à l'aide de la CLI Streamlit. Exécutez la commande suivante:

    python3 main.py
   

2. L'application sera lancée dans votre navigateur Web par défaut, affichant l'interface utilisateur.

Architecture

Cours:

• LLM: Cette classe abstraite sert de plan pour différentes implémentations LLM. Il a des sous-classes comme OllamaModel , OpenAIModel et HFModel qui gèrent des fournisseurs de LLM spécifiques (Olllama, Openai et Embring Face).
• DOCS: Cette classe gère le chargement de documents à partir de diverses sources comme les PDF, les pages Web et les vidéos YouTube.
• VectorStore: Cette classe crée une représentation vectorielle des documents en utilisant des incorporations LLM pour une récupération efficace.
• Chaîne: cette classe définit le pipeline de traitement du chatbot. Il peut s'agir d'une chaîne simple pour la réponse aux questions de base ou une chaîne de récupération qui recherche des documents basés sur l'historique de la conversation.
• Chatbot: Cette classe gère l'interaction utilisateur, maintient l'historique de la conversation et appelle la méthode de chaîne appropriée pour générer des réponses.
• ChatbotController: cette classe est l'interface principale de l'utilisateur. Il permet de définir le modèle LLM, la source de document et les options de récupération. Il gère également les requêtes utilisateur et interagit avec l'instance de chatbot.

Fonctionnalité:

1. Configuration:

   • L'utilisateur sélectionne le fournisseur LLM (OLLAMA, OpenAI ou HuggingFace) et Modèle dans un menu déroulant. Facultativement, une clé API peut être nécessaire pour certains fournisseurs.
   • L'utilisateur peut choisir d'ajouter des documents (PDF, URL de page Web ou URL vidéo YouTube) pour les tâches de récupération.

2. Traitement:

   • Sur la base du LLM et des documents choisis (le cas échéant), le contrôleur configure la chaîne de traitement.
   • Une chaîne simple est utilisée pour la réponse aux questions de base sans récupération de documents.
   • Une chaîne de récupération implique:
     • Création d'une représentation vectorielle des documents à l'aide des intégres de LLM.
     • Définition des invites pour générer des requêtes de recherche en fonction de l'historique de conversation.
     • Récupération des documents pertinents basés sur les requêtes générées.
     • En utilisant les documents récupérés pour répondre à la question de l'utilisateur.

3. Interaction:

   • L'utilisateur tape leurs questions dans l'interface de chat.
   • Le contrôleur appelle la méthode predict du chatbot, passant la requête de l'utilisateur et l'historique de conversation (si la récupération est activée).
   • Le chatbot récupère la réponse appropriée en fonction de la configuration de la chaîne choisie.

Caractéristiques supplémentaires:

• L'interface comprend des boutons pour l'historique de conversation "annuler" et "claire".

Dans l'ensemble, ce code démontre une architecture bien structurée pour un chatbot qui peut tirer parti de différents LLM et intégrer la récupération de documents pour des capacités améliorées.