Trove of Knowledge (TOK) es una aplicación de generación de recuperación (RAG)totalmente local , de alta calidad y extensible que aprovecha los modelos e índices de IA para consultar documentos y generar respuestas contextualmente precisas. Con Tok, puede cargar documentos y recibir respuestas más informadas adaptadas a sus consultas. Además, la aplicación almacena automáticamente sus chats, lo que le permite volver a visitar y continuar las conversaciones en cualquier momento.
Tabla de contenido
? Características
Requisitos previos
Empezando
Uso
? Demostración de video
? Tour visual
Resultados
Características
? ️ Totalmente local, seguro y centrado en la privacidad: TOK asegura que todas las operaciones se realicen localmente, manteniendo sus datos privados y seguros.
Carga de documentos versátiles: cargue varios tipos de documentos y carpetas de texto para crear un índice para respuestas de IA más informadas.
? ️ Asignación de metadatos opcionales: Mejore las cargas de documentos con metadatos personalizados, lo que hace que sus datos sean más organizados y accesibles.
Configuración integral de la interfaz de usuario: acceder fácilmente y modificar la configuración importante como opciones de fragmentación, temperatura, tamaño de la ventana de contexto y modo de chat a través de la interfaz de usuario.
✍️ Significaciones personalizadas: Agregue y use indicaciones personalizadas tanto para el modelo de idioma grande (LLM) como para el motor de chat, adaptando las respuestas a sus necesidades.
Chats persistentes con títulos: los chats se guardan con títulos personalizables, lo que le permite volver a visitar y continuarlos más tarde.
Historial de chat persistente: acceda y revise las conversaciones pasadas en cualquier momento.
? Selección de modelos de Ollama: elija y extraiga modelos AI directamente de Ollama para tareas y preferencias específicas.
⏳ Respuestas de transmisión con fragmentos inteligentes: experimente respuestas en tiempo real con formato de salida inteligente, especialmente para fragmentos de código.
? Extensible: extienda fácilmente la funcionalidad de Tok con características o integraciones adicionales.
Requisitos previos
Para ejecutar Tok, deberá instalar dos dependencias:
Ollama: facilita la descarga de modelos fáciles, el servicio y la carga de dispositivos inteligentes. ( requerido )
Desktop Neo4J: utilizado para vector de primer nivel y tiendas gráficas. ( Instale si se ejecuta sin Docker / con el EXE en versiones o para fines de investigación )
Configuración de NEO4J (si está instalado el escritorio Neo4J)
Descargue e instale el escritorio Neo4j .
Agregue la ruta del bin Neo4J a la variable de entorno de ruta de su sistema. Esto permite que NEO4J sea accedido por TOK.
Ejemplo de ruta de bin para Windows: pathtouser.Neo4jDesktoprelate-datadbmssyour-current-dbmsbin
(Para Windows) active la CLI Neo4J ejecutando el siguiente comando en el símbolo del sistema o PowerShell para Windows:
neo4j windows-service install
Realice este enlace para realizar los pasos anteriores para otros Arch (y para referencia).
Empezando
Tienes dos opciones principales para ejecutar Tok:
Opción 1: Ejecución de Tok con Docker (recomendado)
Asegúrese de que Docker y Docker componen instalados en su máquina.
Clon el repositorio:
git clone https://github.com/gurveervirk/ToK.git
Navegue al directorio que contiene el archivo docker-compose.yml :
cd ToK/docker
Sirva Ollama en su sistema local. ( la aplicación puede servirlo automáticamente )
ollama serve
Inicie la aplicación con Docker Compose:
docker-compose up -d
Opción 2: Ejecutando el ejecutable de TOK (en desuso) (ya no se mantiene)
Visite la página de versiones y descargue el último ToK.exe en una ubicación/directorio (la aplicación crea archivos y carpetas necesarios para el trabajo correcto).
Modifique la configuración ejecutando la aplicación una vez y haciendo clic en el icono de configuración en la esquina superior derecha:
Nombre de usuario: reemplace con el nombre de usuario de su base de datos NEO4J.
Contraseña: reemplace con la contraseña que establece en su proyecto NEO4J.
URI: Reemplace con el URI de su proyecto NEO4J.
Nota: El nombre de usuario y URI predeterminado son los valores predeterminados para un DB NEO4J. También puede modificarlo en settings.json , creado por la aplicación.
¡Hecho! Ahora estás listo para comenzar a usar Tok.
Uso
Después de completar la configuración:
Tok de lanzamiento.
Elija chatear directamente con el bot o cargar documentos utilizando el botón superior derecha para respuestas de consulta mejoradas.
Disfrute de la experiencia perfecta de interactuar con un asistente de conocimiento con IA localmente administrada por IA que mantiene sus datos privados y seguros.
Nota: Al crear un nuevo chat inmediatamente después de solicitar el motor LLM / chat, el último chat puede no ser visible en la barra lateral junto con el chat no disponible durante unos segundos. Esto puede deberse a que el nuevo chat se almacena con un título generado por LLM.
Demostración de video
Mira el video a continuación para ver Tok in Action:
Tour visual
Explore las características clave y la interfaz de usuario de TOK a través de las imágenes a continuación:
Cargar modal
Configuración modal
Indica modal
Resultados
Esta aplicación se ha probado con éxito en un subconjunto del conjunto de datos Triviaqa, y los resultados son los siguientes:
Encuentre el código para los resultados anteriores en este enlace.