DataChad

Datachad v3?

Ceci est une application qui vous permet de poser des questions sur toute source de données en tirant parti des intégres, des bases de données vectorielles, de grands modèles de langage et du dernier mais non le moindre languette

Comment ça marche?

1. Téléchargez n'importe quel file(s) ou entrez n'importe quel path ou url pour créer des bases de connaissances qui peuvent contenir plusieurs fichiers de tout type, format et contenu et créer des FAQ intelligentes qui sont des listes de questions et réponses numérotées organisées.
2. La source de données ou les fichiers sont chargés et divisés en morceaux de document texte
3. Les morceaux de document texte sont intégrés à l'aide d'Openai ou de HuggingFace Embeddings
4. Les intégres sont stockés comme un ensemble de données vectoriel au centre de base de données d'ActiveLoop
5. Un Langchain est créé composé d'une sélection personnalisée d'un modèle LLM ( gpt-3.5-turbo par défaut), Multiple Vector Store comme bases de connaissance
6. Lorsque vous posez des questions à l'application, la chaîne intègre l'invite d'entrée et fait une recherche de similitude dans les magasins vectoriels fournis et utilise les meilleurs résultats comme contexte pour le LLM pour générer une réponse appropriée
7. Enfin, l'historique du chat est mis en cache localement pour activer une conversation comme des questions et réponses

Bon à savoir

• L'application s'exécute uniquement sur py>=3.10 !
• Pour exécuter localement ou déployer quelque part, exécutez cp .env.template .env et définissez des informations d'identification dans le fichier .env nouvellement créé. D'autres options consistent manuellement à régler les variables d'environnement système ou à les stocker dans .streamlit/secrets.toml lorsqu'ils sont hébergés via Streamlit.
• Si vous avez des informations d'identification comme expliqué ci-dessus, vous pouvez simplement appuyer sur submit dans l'authentification sans réintégrer vos informations d'identification dans l'application.
• Si vous exécutez l'application, envisagez de modifier la configuration dans datachad/backend/constants.py , par exemple, permettant des options avancées
• Vos données ne se charge pas? N'hésitez pas à ouvrir un problème ou des relations publiques et contribuer!
• Utilisez des versions précédentes comme V1 ou V2 pour les fonctionnalités originales et l'interface utilisateur

À quoi ça ressemble?

Liste de TOD

Si vous aimez contribuer, n'hésitez pas à saisir n'importe quelle tâche

• Refactor Utils, en particulier les chargeurs
• Ajouter une option pour choisir le modèle et les intégres
• Activer le mode entièrement local / privé
• Ajouter une option pour télécharger plusieurs fichiers dans un seul ensemble de données
• Découpler les modules de datachad à partir de rationalisation
• supprimer tous les mode locaux et autres trucs V1
• Chargez les bases de connaissances existantes
• Supprimer les bases de connaissances existantes
• Activer les réponses en streaming
• Montrer le contexte récupéré
• UI du refacteur
• Introduire des FAQ intelligentes
• Échangez le stockage de fichiers téléchargé avec Tempfile
• Ajouter la création et la connexion des utilisateurs
• Ajouter l'historique du chat par utilisateur
• Faire toutes les E / S asynchrones
• Implémentez les routes Fastapi et l'application backend
• Implémentez un frontend approprié (réagir ou autre)
• conteneuriser l'application