markdown file query

Ce projet fonctionne actuellement mieux avec les documents anglais.

À propos de ce projet

ce projet

• Utilise la base de données VECTOR de PineCone (VDB) et le modèle d'intégration d'OpenAI (vecteur) pour transformer les textes en vecteurs.
• Fonctionne avec n'importe quel fichier .md , donc il fonctionne parfaitement avec la notion et l'obsidienne (bien que pour la notion, vous devez l'exporter en .md manuellement en premier)
• est la pratique de l'auteur de la technique Feynman.
• est probablement un duplicata plus faible de PrivateGpt et Llama_index, si vous voulez un programme de requête de document magnifiquement conçu, vous devez utiliser LLAMA_INDEX au lieu de ce jouet.

Procédure pas à pas de ce programme

1. Chaque fichier Markdown dans le répertoire cible est coupé en beaucoup de petits morceaux à l'aide de langchain.textsplitter
2. Chaque Chunck est transformé en vecteur via le modèle d'intégration d'Openai ( langchain.embeddings.OpenAIEmbeddings )
3. Les vecteurs sont ensuite téléchargés dans la base de données Vector Pinecone .
4. Les requêtes sont également converties en vecteurs à l'aide du modèle d'incorporation vectorielle et téléchargés sur pinecone.
5. Pour récupérer les résultats de la recherche, nous comparons le vecteur de requête avec la base de données vectorielle à l'aide de Pinecone (par similitude en cosinus).
6. Les 3 résultats les plus proches sont récupérés et introduits en GPT-3 ainsi que la question, et GPT-3 générera une réponse en langage naturel.

FAIRE

• Ajouter une option --help
• déploier pour rationaliser

Commencer

Condition préalable

1. Préparez la clé de l'API Pinecone et Openai:
   • La clé de l'API PineCone peut être obtenue ici.
   • La clé API OpenAI peut être obtenue ici.
2. Pour exporter la clé de l'API Pinecone et Openai de l'environnement système

    export PINECONE_API_KEY= " your_pinecone_api_key "
   export OPENAI_API_KEY= " your_openai_api_key "

   maintenant en python use

    import os
   os . environ [ "PINECONE_API_KEY" ]
   os . environ [ "OPENAI_API_KEY" ]

   Pour vérifier si vous les avez exportés vers l'environnement du système, si KeyError , redémarrez le terminal une fois terminé (et votre IDE si vous en utilisez un).

Installation

1. Clone ce repo à votre machine locale

   git clone https://github.com/madeyexz/markdown-file-query.git 

2. Installer les dépendances

   pip install pinecone langchain tqdm

Usage

1. Préparez le (s) fichier (s) Markdown et placez-les dans un FOLDER (ou tout nom que vous aimez, mais vous devez modifier le code en conséquence). Remarquez que cela devrait être dans le même répertoire que main.py
2. Si c'est la première fois que vous demandez un certain document, exécutez le programme main.py

   python3 main.py " PATH_OF_FOLDER " " QUESTION "

3. Les résultats de la requête et le GPT de référence utilisé pour générer la réponse seront enregistrés dans answer.txt et contents.txt respectivement.
4. Si vous souhaitez interroger à nouveau le même lot de documents, exécutez à nouveau le query_only.py pour éviter de réintégrer les documents.

   python3 query_only.py " QUESTION "

Exemple

1. J'ai un dossier appelé markdown_database qui contient un tas de fichiers .md , je veux interroger cette base de données avec la question "quelle est la situation étrange"

   ❯ python3 main.py " markdown_database " " what's the strange situation "                                                        

    initiating pinecone index...
   digesting docs...
   uploading datas to pinecone...
   92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████          | 60/65 [00:29<00:02,  1.87it/s]
   let's wait for 60 seconds to avoid RateLimitError... (since im not a paid user))
   100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 60/60 [01:00<00:00,  1.00s/it]
   100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 65/65 [01:32<00:00,  1.42s/it]
   querying pinecone...
   querying gpt...
   writing results to answer.txt and contents.txt
   done! the answer to 'what's the strange situation' is: '
   The Strange Situation is a standardized procedure devised by Mary Ainsworth in the 1970s to observe attachment security in children within the context of caregiver relationships. It applies to infants between the age of nine and 18 months and involves a series of eight episodes lasting approximately 3 minutes each, whereby a mother, child and stranger are introduced, separated and reunited. The procedure is used to observe the quality of a young child’s attachment to his or her mother, and can also be applied to other attachment figures, such as God, through the use of Emotionally Focused Therapy (EFT) and religious beliefs, such as the saying “there are no atheists in foxholes”.'
   

2. Si je souhaite interroger à nouveau la même base de données, je peux utiliser query_only.py pour éviter de réintégrer les documents.

   ❯ python3 query_only.py " Who is Mary Ainsworth? " 

    connecting to pinecone index...
   getting docs
   querying pinecone...
   querying gpt...
   done! the answer to 'Who is Mary Ainsworth?' is: '
   Mary Ainsworth was a developmental psychologist who devised the Strange Situation in the 1970s to observe attachment security in children within the context of caregiver relationships. The Strange Situation involves a series of eight episodes lasting approximately 3 minutes each, whereby a mother, child and stranger are introduced, separated and reunited. Ainsworth is also known for her observation that if you want to see the quality of a young child’s attachment to his or her mother, watch what the child does, not when Mother leaves, but when she returns. She is also known for her research on anxious babies and their inability to use their mothers as a secure base.'
   

Limitation connue

1. Si vous utilisez PineCone, alors chaque fois que vous souhaitez interroger un nouveau document (c'est-à-dire créant une nouvelle base de données), vous devriez probablement créer un nouvel index de Pinecone (car vous ne voulez pas de réponses de l'ancien document), ou supprimez l'ancien index. En effet, PineCone ne prend pas (encore) la mise à jour de l'index.

   Pour supprimer l'ancien index:

   python3 delete_pinecone_index.py NAME_OF_INDEX

Remerciements

Énorme cri à la communauté open source pour avoir fourni des exemples simples et des tutoriels complets!

• Openai-Cookbook: Utilisation de la base de données vectorielle pour la recherche d'intégration
• Créez une application Web de moteur de recherche personnelle à l'aide d'Open AI Text Embeddings - AVRA
• Ce projet est fortement inspiré par HWChase17 / Notion-QA
• Langchain, une bibliothèque Python pour manipuler les LLM avec élégance.