Trove of Knowledge (TOK) est une application de génération (RAG) (Rag) dehaute qualité et extensible et extensible qui exploite les modèles et les indices de l'IA pour interroger les documents et générer des réponses contextuellement précises. Avec Tok, vous pouvez télécharger des documents et recevoir des réponses plus éclairées adaptées à vos requêtes. De plus, l'application stocke automatiquement vos chats, vous permettant de revisiter et de poursuivre les conversations à tout moment.
Table des matières
? Caractéristiques
Condition préalable
Commencer
Usage
? Démo vidéo
? Visite visuelle
Résultats
Caractéristiques
? ️ Entièrement local, sécurisé et axé sur la confidentialité: TOK garantit que toutes les opérations sont effectuées localement, en gardant vos données privées et sécurisées.
Téléchargement de documents polyvalents: Téléchargez différents types de documents et de dossiers texte pour créer un index pour des réponses IA plus éclairées.
? ️ Affectation des métadonnées facultatives: améliorer les téléchargements de documents avec des métadonnées personnalisées, ce qui rend vos données plus organisées et accessibles.
Paramètres d'interface utilisateur complets: accédez et modifiez facilement les paramètres importants comme les options de chasse, la température, la taille de la fenêtre de contexte et le mode de chat via l'interface utilisateur.
✍️ Invites personnalisées: ajoutez et utilisez des invites personnalisées pour le modèle grand langage (LLM) et le moteur de chat, les réponses de couture à vos besoins.
Chats persistants avec les titres: Les chats sont enregistrés avec des titres personnalisables, vous permettant de les revisiter et de les continuer plus tard.
Historique de chat persistant: accès et revoir les conversations passées à tout moment.
? Sélection du modèle à partir d'Olllama: choisissez et tirez directement des modèles AI à partir d'Olllay pour des tâches et des préférences spécifiques.
⏳ Réponses en streaming avec des extraits intelligents: expérimentez les réponses en temps réel avec la mise en forme de sortie intelligente, en particulier pour les extraits de code.
? Extensible: étendez facilement la fonctionnalité de Tok avec des fonctionnalités ou des intégrations supplémentaires.
Condition préalable
Pour exécuter Tok, vous devrez installer deux dépendances:
OLLAMA: Facilite le téléchargement facile du modèle, le service et le chargement des appareils intelligents. ( requis )
Bureau NEO4J: utilisé pour les magasins de vecteurs et de graphiques de niveau supérieur. ( Installer si vous exécutez sans docker / avec l'EXE dans les versions ou à des fins de recherche )
Configuration de Neo4j (si Neo4j Desktop est installé)
Téléchargez et installez le bureau NEO4J .
Ajoutez le chemin du bin NEO4J à la variable d'environnement de chemin de votre système. Cela permet à Neo4j d'être accessible par Tok.
Exemple de chemin de bin pour Windows: pathtouser.Neo4jDesktoprelate-datadbmssyour-current-dbmsbin
(Pour Windows) Activez la CLI Neo4j en exécutant la commande suivante dans l'invite de commande ou PowerShell pour Windows:
neo4j windows-service install
Veuillez passer par ce lien pour effectuer les étapes ci-dessus pour les autres Arch (et pour référence).
Commencer
Vous avez deux options principales pour exécuter Tok:
Option 1: Running Tok avec Docker (recommandé)
Assurez-vous que Docker et Docker composent installés sur votre machine.
Clone le référentiel:
git clone https://github.com/gurveervirk/ToK.git
Accédez au répertoire contenant le fichier docker-compose.yml :
cd ToK/docker
Servir Olllama sur votre système local. ( l'application peut la servir automatiquement )
ollama serve
Démarrez l'application avec Docker Compose:
docker-compose up -d
Option 2: Exécution de Tok Exécutable (obsolète) (non plus maintenu)
Visitez la page des versions et téléchargez le dernier ToK.exe dans un emplacement / répertoire (l'application crée les fichiers et dossiers nécessaires pour un travail correct).
Modifiez les paramètres en exécutant l'application une fois et en cliquant sur l'icône des paramètres dans le coin supérieur droit:
Nom d'utilisateur: remplacez par votre nom d'utilisateur de base de données NEO4J.
Mot de passe: remplacez par le mot de passe que vous définissez dans votre projet NEO4J.
URI: Remplacez par URI de votre projet NEO4J.
Remarque: Le nom d'utilisateur par défaut et l'URI sont les valeurs par défaut pour une base de données Neo4j. Vous pouvez également le modifier dans settings.json , créé par l'application.
Fait! Vous êtes maintenant prêt à commencer à utiliser Tok.
Usage
Après avoir terminé la configuration:
Lancez Tok .
Choisissez de discuter directement avec le bot ou de télécharger des documents en utilisant le bouton supérieur droit pour les réponses de requête améliorées.
Profitez de l'expérience transparente de l'interaction avec un assistant de connaissances sur place localement et alimenté en AI qui maintient vos données privées et sécurisées.
Remarque: En créant un nouveau chat immédiatement après avoir incité le moteur LLM / Chat, le dernier chat peut ne pas être visible dans la barre latérale ainsi que le chat qui n'est pas disponible pendant quelques secondes. Cela peut être dû à la stockage du nouveau chat avec un titre généré par LLM.
Démo vidéo
Regardez la vidéo ci-dessous pour voir le tok en action:
Visite visuelle
Explorez les fonctionnalités clés et l'interface utilisateur de Tok via les images ci-dessous:
Télécharger Modal
Paramètres modal
Invite le modal
Résultats
Cette application a été testée avec succès sur un sous-ensemble de l'ensemble de données Triviaqa, et les résultats sont les suivants:
Veuillez trouver le code des résultats ci-dessus dans ce lien.