ai markdown llm retrieval

Moteur de requête VectordB-llm à base de chiffon

Ce projet met en œuvre un système de requête de document alimenté en AI utilisant les modèles de langage de Langchain, ChromAdB et OpenAI. Il permet aux utilisateurs de créer une base de données consultable à partir des documents Markdown et de l'interroger en utilisant le langage naturel.

Caractéristiques

• Création de la base de données vectorielle à partir de documents de marque
• Estimation des coûts d'incorporation et de requête
• Recherche de similitude sur la base de données
• Génération de réponse alimentée par AI pour les requêtes utilisateur

Schéma d'architecture

Exigences

• Python 3.7+
• Dépendances répertoriées dans requirements.txt

Installation

1. Cloner ce référentiel
2. Créer un environnement virtuel:

    python -m venv .venv
   source .venv/bin/activate  # On Windows, use `.venvScriptsactivate`
   

3. Installer les packages requis:

    pip install -r requirements.txt
   

4. Configurez votre clé API OpenAI dans un fichier .env :

    OPENAI_API_KEY=your_api_key_here
   

Commencer

Suivez ces étapes pour configurer rapidement et utiliser le moteur de requête VectordB-LLM basé sur RAG:

1. Créez une base de données à partir de vos documents Markdown:

    python create_database.py --data_folder data/go-docs --chroma_db_path chroma_go_docs/
   

   Cette commande traitera les fichiers Markdown dans le répertoire Data / Go-Docs et créera une base de données vectorielle dans le dossier CHROMA_GO_DOCS /.

2. Interrogez la base de données avec une question de langue naturelle:

    python query_data.py --query_text "Explain goroutines in go in a sentence" --chroma_db_path chroma_go_docs/ --prompt_model gpt-3.5-turbo
   

3. Voir la réponse générée par l'AI:

    Goroutines are lightweight, concurrent functions or methods in Go that run independently, managed by the Go runtime, allowing for efficient parallel execution and easy implementation of concurrent programming patterns.
   

Usage

Pour des instructions d'utilisation plus détaillées, reportez-vous aux sections suivantes:

1. Créer la base de données

    python create_database.py --data_folder path/to/your/markdown/files --chroma_db_path path/to/save/database
   

2. Interroger la base de données

    python query_data.py --query_text "Your question here" --chroma_db_path path/to/database --prompt_model gpt-3.5-turbo
   

Structure de fichiers

• create_database.py : script de création de base de données
• query_data.py : script de requête de la base de données
• estimate_cost.py : Module d'estimation des coûts
• get_token_count.py : utilitaire de comptage de jetons
• data/ : Directeur de documents de Markdown
• chroma/ : Stockage de la base de données ChromAdB (Gitignored)

Notes

• Utilise text-embedding-3-small pour les intégres et gpt-3.5-turbo pour les réponses par défaut
• Placez les fichiers de démarche dans data/ ou spécifiez un chemin personnalisé
• Base de données ChromAdB stockée dans chroma/ (Gitignored)

Dépannage

• Assurer une version compatible Python et une installation correcte du package
• Vérifiez les crédits de clé API OpenAI et de compte pour les erreurs d'API

Licence

Ce projet est concédé sous licence de la licence du MIT. Pour plus d'informations, veuillez vous référer au fichier de licence.

Construit avec

• Lubriole
• Chromadb
• Openai
• tiktoken

Pour des questions ou des problèmes, veuillez ouvrir un problème sur le référentiel GitHub.