Build RAGAI Download - Build RAGAI Source Téléchargement

Build RAGAI

Composants tiers

1.0.0

Télécharger

Se construire

Description

Ce projet cherche à vous apprendre à créer des applications Python avec des fonctionnalités génératrices d'IA en utilisant les bibliothèques de Langchain et Transformers.

Bien qu'il existe une section pour OpenAI, la plupart du code qui existait auparavant, il y a été réutilisé et intégré aux bibliothèques Langchain ou Transformers. Ce projet comprend des extraits de code, des exemples de packages et des cahiers Jupyter que vous pouvez augmenter, copier ou apprendre respectivement.

Si vous êtes nouveau dans la création d'applications alimentées par AI, je vous suggère de commencer par jouer avec et d'exécuter le code dans les ordinateurs portables de Langchain. Voir le code en action, le modifier vous-même et réfléchir de manière créative de nouvelles idées est le meilleur moyen d'apprendre.

Table des matières

Vous trouverez ci-dessous des liens vers et des descriptions de sections de ce projet pour une navigation facile.

Ce réadme:

Commencer
Installation
Licence

Langchain:

Extraits de code: vous trouverez ici des composants Python enfichables.
- tamperwindow_memory.py: un composant de mémoire simple qui peut être utilisé dans une conversation Langchain.
- chatopenai.py: un composant LLM simple qui peut être utilisé pour retourner les messages de chat.
- Multi_queryvector_Retrieval.py: un composant Retriever avancé qui combine la puissance de la récupération multi-reéryh et multi-vecteur.
Notes de carnets: vous trouverez ici des cahiers Jupyter qui vous guident à travers l'utilisation de nombreuses classes Langchain différentes.
- MergedDatalOader: Apprenez à intégrer et interroger plusieurs sources de données via MergedDataLoader . Dans ce cahier, nous apprenons à cloner les référentiels GitHub et à gratter la documentation Web avant de les intégrer dans un VectorStore que nous utilisons ensuite comme Retriever. À la fin, vous devriez être à l'aise d'utiliser les sources comme contexte dans vos propres projets de chiffon.
- Outils personnalisés: apprenez à créer et à utiliser des outils personnalisés dans les agents de Langchain.
- Génération d'images et sous-titrage + génération de vidéos: Apprenez à créer un agent qui choisit l'outil génératif à utiliser en fonction de votre invite. Cet exemple commence par l'agent générant une image après avoir affiné l'invite de l'utilisateur.
- Langsmith Procédure pas à pas: Apprenez à utiliser le tracé de Langsmith et à tirer des invites de Hub Langsmith Hub.
- Génération augmentée de récupération: commencez à récupérer la génération augmentée pour améliorer les performances de votre LLM.
- MongoDB Rag: effectuer une recherche de similitudes, un filtrage des métadonnées et un réponses de questions avec MongoDB.
- Pinecone et Chromadb: une procédure pas à pas plus fondamentale mais approfondie de la génération augmentée de récupération avec deux scolares différentes.
- FAISS et The HuggingFaceHub: Apprenez à utiliser les index Faiss pour la recherche de similitude avec HuggingFaceHub Embeddings. Cet exemple est une option amicale, car tout fonctionne localement. Aucun GPU requis!
- Runnables and Chains (Langchain Expression Language): Apprenez la différence et comment utiliser les couleurs et les chaînes à Langchain. Ici, vous plongerez profondément dans leurs détails.
Exemples de bout en bout: Ici, vous trouverez des scripts conçus pour fonctionner hors de la boîte.
- Rag avec des agents: Apprenez à utiliser des agents pour le chiffon.
  - CHACTBOT STAILLIT: Un chatbot simplifié à l'aide d'OpenAI.
  - Chargeur du répertoire: utilisez la classe DirectoryLoader pour charger des fichiers pour la requête.
  - PYPDF Directory Loader: Utilisez la classe PypdfDirectoryLoader pour charger des fichiers pour la requête.
  - Recherche de similitude Facebook AI: utilisez la classe FacebookAISimilaritySearch pour charger des fichiers pour la requête.
  - VectorStore Rag: Apprenez à utiliser des VectorStores à Langchain.
  - PineCone: Utilisez une base de données de vecteur Pinecone "Index" comme retriever et discutez avec vos documents.

Openai:

Extraits de code: vous trouverez ici des extraits de code à l'aide de la bibliothèque Openai Python.
- Texte à la parole: utilisez l'API Whisper pour générer la parole à partir du texte.
Notes de carnets: vous trouverez ici des cahiers Jupyter qui vous montrent comment utiliser la bibliothèque Openai Python.
- Génération augmentée de récupération: commencez à récupérer la génération augmentée et le pignon pour améliorer les performances de votre LLM.

Transformers:

Extraits de code: vous trouverez ici des extraits de code à l'aide de la bibliothèque Transformers Python.
- Dolphin Mixtral: une fonction simple pour générer du texte à l'aide pipeline .
Notes de carnets: vous trouverez ici des cahiers Jupyter qui vous montrent comment utiliser la bibliothèque Transformers Python.
- Reconnaissance automatique de la parole: transcrivez la parole en utilisant Whisper-V3 dans une démo Gradio.
Packages: Ici, vous trouverez des applications CLI.
- Transcription audio:
  - MICTRANSPRIPTION: Transcrire l'audio à l'aide d'un microphone.
  - Création de tâches: génère des tâches basées sur l'audio transcrit.
- Train avec Accelerate: Finez un modèle de classification de séquence à l'écoute à l'aide d'accélérer pour faire en sorte que les choses soient très rapides.

Commencer

Installation

Exécution et test du code local

Ce projet est développé à l'aide de PDM. Vous pouvez installer PDM à l'aide de pip :

Commencez par naviguer vers le répertoire racine de ce projet, puis exécutez:

pip install -U pdm

Vous devrez alors installer les dépendances à l'aide de PDM:

pdm install

Cette commande créera un environnement virtuel dans .venv et installera les dépendances dans cet environnement. Si vous êtes sur macOS ou Linux, vous pouvez exécuter source .venv/bin/activate pour activer l'environnement. Sinon, vous pouvez exécuter la commande .venv/Scripts/activate ou .venv/Scripts/activate.ps1 pour activer l'environnement.

En utilisant un environnement virtuel, nous évitons de contaminer la contamination de notre environnement de python mondial.

Une fois notre environnement virtuel configuré, nous devons le sélectionner comme noyau pour le cahier Jupyter. Si vous êtes dans VSCODE, vous pouvez le faire en haut à droite du cahier. Si vous utilisez un IDE différent, vous devrez rechercher une aide à la configuration en ligne.

Lors de la sélection du noyau, assurez-vous de choisir celui qui se trouve à l'intérieur du répertoire .venv , et non l'environnement mondial Python.

Testez votre premier cahier

Si vous êtes totalement nouveau dans la création d'applications alimentées par l'IA avec accès à des données externes, en particulier la récupération de la génération augmentée, consultez le cahier Rag Basics. C'est le cahier le plus simple, et ses concepts sont construits sur tous les autres cahiers «chiffons».