airgapped offfline rag

Chiffon hors ligne de l'air

Ce projet de Vincent KOC met en œuvre un système de réponses basé sur la génération (RAG) de la génération (RAG) pour les documents. Il utilise des modèles LLAMA 3, Mistral et Gemini pour l'inférence locale avec Llama C ++, Langchain pour l'orchestration, ChromAdB pour le stockage vectoriel et rationalisation pour l'interface utilisateur.

Table des matières

• Chiffon hors ligne de l'air
  • Table des matières
  • Installation
  • Exécution de l'application
    • Localement
    • Utilisation de Docker
  • Usage
  • Configuration
  • Caractéristiques
    • Fonctionnalités prises en charge
    • Caractéristiques futures
  • Contributif
  • Licence
  • Remerciements

Installation

1. Assurez-vous que Python 3.9 est installé : vous pouvez utiliser pyenv :

    pyenv install 3.9.16
   pyenv local 3.9.16
   pyenv rehash
   

2. Créez un environnement virtuel et installez les dépendances :

    make setup
   

3. Téléchargez les modèles : Téléchargez les modèles LLAMA 3 (8B) et Mistral (7B) au format GGUF et placez-les dans les models/ répertoire. TheBloke on Hugging Face a partagé les modèles ici:

   • Mistral-7B-Instruct-V0.2-Ganguf
   • Lama-pro-8b-instruct-ganguf

   Les modèles de unsloth ont également été testés et peuvent être trouvés ici:

   • Gemma-2-2b-it.q2_k.gguf
   • LLAMA-3.2-3B-INSTRUCT-Q2_K.GGUF

4. Modèle de transformateur de phrase QDRANT : Ceci sera téléchargé automatiquement lors de la première exécution. Si l'exécution du chiffon aérégé localement, il est préférable d'exécuter la base de code avec un accès Internet initialement pour télécharger le modèle.

Exécution de l'application

Localement

 make run

Utilisation de Docker

 make docker-build
make docker-run

Usage

1. Téléchargez les documents PDF à l'aide du téléchargeur de fichiers.
2. Sélectionnez le modèle que vous souhaitez utiliser (par exemple, Mistral).
3. Entrez votre question dans l'entrée du texte.
4. Cliquez sur "Générer la réponse" pour obtenir une réponse en fonction du contenu du document.

Configuration

Ajustez les paramètres de config.yaml pour modifier les chemins de modèle, les tailles de morceaux et autres paramètres.

Caractéristiques

Fonctionnalités prises en charge

• Inférence locale avec Llama C ++
• Prise en charge du modèle pour Llama 3 (3 et 3.1)
• Prise en charge du modèle pour Mistral
• Prise en charge du modèle pour les Gémeaux
• Prise en charge des modèles quantifiés
• Téléchargement de documents et traitement
• Système de réponses aux questions
• Modèle de transformateur de phrase pour le stockage vectoriel
• Intégration avec rationalisation pour l'interface utilisateur
• Support pour les réponses en streaming

Caractéristiques futures

• Intégration avec des modèles supplémentaires (à venir bientôt)
• Prise en charge des documents non PDF (à venir bientôt)
• Prise en charge des documents d'image (à venir bientôt)
• Prise en charge de la visualisation des intérêts (à venir bientôt)
• Prise en charge de l'historique du chat (à venir bientôt)
• Interface utilisateur améliorée (à venir bientôt)
• Prise en charge des documents multimodaux (à venir bientôt)
• Exportation et importation de configurations de chiffon (à venir bientôt)
• Exposer une API REST (à venir bientôt)
• Observabilité (à venir bientôt)

Contributif

Les contributions sont les bienvenues! Veuillez débarquer le référentiel et soumettre une demande de traction. Pour les changements majeurs, veuillez d'abord ouvrir un problème pour discuter de ce que vous souhaitez changer.

Licence

Ce projet est autorisé en vertu de la licence publique générale GNU v3.0 (GPLV3). Voir le fichier de licence pour plus de détails.

Cela signifie:

• Vous pouvez utiliser librement, modifier et distribuer ce logiciel.
• Si vous modifiez ou étendez ce logiciel, vous devez publier vos modifications sous le GPL.
• Vous devez inclure l'avis d'origine du droit d'auteur et le texte intégral de la licence GPL.
• Il n'y a pas de garantie pour ce logiciel gratuit.

Pour plus d'informations, visitez GNU GPL V3.

Remerciements

• Merci à TheBloke et UnsooL de partager les modèles quantifiés.
• Ce projet utilise diverses bibliothèques open source. Voir exigences.txt pour plus de détails.