barq

Dabarqus

Dabarqus es una aplicación independiente que implementa una solución de trapo completa. Está diseñado para ser fácil de usar y fácil de integrar con sus aplicaciones existentes. Dabarqus incluye una API REST, una interfaz de línea de comandos y un tablero de administración.

¿Por qué crear dabarqus?

Si eres un desarrollador, construir una solución básica de trapo es bastante sencilla. Hay toneladas de tutoriales y prácticamente, así como el código de Python para reutilizar. Pero, si está implementando su solución RAG dentro de una empresa, o para PC de usuario final, también tendrá que descubrir algunos problemas de implementación y mantenimiento potencialmente difíciles. Eso significa también implementar Python, una base de datos vectorial, el modelo de IA de incrustación correcto y los posibles desafíos de licencia. Dabarqus fue creado para abordar estos problemas con una solución todo en uno independiente sin dependencias. Está escrito en C ++ de bajo nivel con capacidades de búsqueda vectoriales incorporadas, flexibilidad para usar el modelo de IA de incrustación que es mejor para su caso de uso y una API REST para una fácil integración de desarrollo.

Tabla de contenido

1. Comienzo rápido
   • Ubuntu
   • macosa
   • Windows
2. Características
3. BarQ - Interfaz de línea de comandos
   • Usando con el CLI
     • Almacenar
     • Recuperar
4. API - Interfaz REST
   • Usando la API
5. Ejemplos

Comienzo rápido

Ubuntu

Dabarqus trabaja solo en CPU, o puede usar Nvidia CUDA para un mayor rendimiento. Para la versión CUDA (también conocida como NVIDIA CUBLAS), deberá instalar el controlador NVIDIA. La versión de CPU no requiere ningún software adicional. Tenga en cuenta que para usar la versión CUDA, necesitará tener una GPU NVIDIA con soporte CUDA y descargar la versión CUDA de Dabarqus.

0. Para instalar controladores NVIDIA en Ubuntu (si tiene una GPU NVIDIA), ejecute el siguiente comando:

   sudo ubuntu-drivers install

1. Descompensar el archivo dabarqus en una carpeta

   unzip Dabarqus-linux-DOWNLOADED_VERSION.zip
   cd Dabarqus-linux-DOWNLOADED_VERSION
   chmod +x ./bin/ *
   ./bin/barq service install

2. Abra un navegador y vaya a http://localhost:6568/admin

macosa

Para las descargas de archivos de paquete, haga lo siguiente:

1. Haga doble clic en Dabarqus-Macos-Downloaded_version.pkg e instale
2. Después de la instalación, abra su navegador y navegue a http://localhost:6568/admin

Para descargas de archivos zip, haga lo siguiente:

1. Descompensar el archivo dabarqus en una carpeta

   unzip Dabarqus-linux-DOWNLOADED_VERSION.zip
   cd Dabarqus-linux-DOWNLOADED_VERSION
   ./bin/barq service install

2. Abra un navegador y vaya a http://localhost:6568/admin

Windows

1. Haga doble clic en Dabarqus-Windows-Downloaded_version.exe e instale
2. Haga doble clic en el icono Dabarqus o navegue a http://localhost:6568/admin

Características

1. Ingesta documentos, bases de datos y API : ingerir diversas fuentes de datos como PDF*, correos electrónicos y datos sin procesar.

   • No importa dónde residan sus datos, Dabarqus puede ponerlo a disposición de su LLM

2. Significación de estilo LLM : Use las indicaciones simples de estilo LLM al hablar con sus bancos de memoria.

   • Dabarqus recuperará los datos relevantes utilizando el mismo aviso que le da a su LLM
   • No es necesario construir consultas especiales o aprender un nuevo idioma de consulta

3. REST API : interfaz de control integral para descargar modelos, provocar índices semánticos e incluso inferencia de LLM.

   • REST es una interfaz estándar que disfruta de una amplia adopción, por lo que su equipo no necesita aprender un sistema nuevo y complejo
   • Permite una integración integral con herramientas de desarrollo existentes para una fácil adopción

4. Múltiples índices semánticos (bancos de memoria) : agrupe sus datos en índices semánticos separados (bancos de memoria).

   • Mantenga sus datos organizados por tema, categoría o cualquier agrupación que desee
   • Los bancos de memoria son portátiles, por lo que puede crearlos y usarlos donde desee

5. SDK : SDK nativos en Python y JavaScript.

   • Se integra fácilmente con Python y JavaScript Projects

6. Salida amigable con LLM : Produce una salida lista para LLM que funciona con ChatGPT, Ollama y cualquier otro proveedor de LLM

   • Funciona sin problemas con el LLM de su elección

7. Panel de administración : monitorear el rendimiento, probar los bancos de memoria y realizar cambios en una interfaz de usuario fácil de usar

   • Fácil acceso a las características de Dabarqus
   • Monitorear el rendimiento de la aplicación con gráficos en tiempo real

8. Soporte de Mac, Linux y Windows : se ejecuta de forma nativa con cero dependencias en todas las plataformas: macOS (Intel o metal), Linux y Windows (CPU o GPU)

   • Se ejecuta en cualquier plataforma que use

9. Inferencia LLM : Chat con modelos LLM a través de la API/SDK de Dabarqus

   • Capacidades de chatbot incorporadas para su uso en sus aplicaciones

*Se requiere Dabarqus Professional Edition para correo electrónico, mensajería y soporte de API.

BarQ - Interfaz de línea de comandos para Dabarqus

Para instalar: barq service install

Para desinstalar: barq service uninstall

Usando con el CLI

Almacenar

Uso: barq store --input-path <path to folder> --memory-bank "<memory bank name>"

Ejemplo: barq store --input-path C:docs --memory-bank documents

Recuperar

Uso: barq retrieve --memory-bank "<memory bank name>"

• Ejemplo: barq retrieve --memory-bank documents
• Ejemplo: barq retrieve --memory-bank documents --query "Tell me about the documents" --query-limit 3 Esto mostrará tres respuestas a la consulta del banco de memoria 'Documentos'

API - Interfaz de descanso a Dabarqus

Método	Punto final	Descripción	Parámetros
CONSEGUIR	/salud o /API /salud	Verifique el estado de salud del servicio	Ninguno
CONSEGUIR	/administración/*	Servir a la aplicación de administración	Ninguno
CONSEGUIR	/Odobo/*	Servir la aplicación Odobo	Ninguno
CONSEGUIR	/API/modelos	Recuperar modelos de IA disponibles	Ninguno
CONSEGUIR	/API/Modelo/Metadatos	Obtenga metadatos para un modelo específico	modelRepo , filePath (opcional)
CONSEGUIR	/API/Descargas	Obtener información sobre los elementos descargados	modelRepo (opcional), filePath (opcional)
CONSEGUIR	/API/Descargas/Enqueue	Enqueue una nueva descarga	modelRepo , filePath
CONSEGUIR	/API/Descargas/Cancelar	Cancelar una descarga	modelRepo , filePath
CONSEGUIR	/API/descargas/eliminar	Eliminar un artículo descargado	modelRepo , filePath
CONSEGUIR	/API/Inferencia	Obtener información sobre elementos de inferencia	alias (opcional)
CONSEGUIR	/API/Inferencia/Inicio	Comience una inferencia	alias , modelRepo , filePath , address (Opcional), port (Opcional), contextSize (Opcional), gpuLayers (Opcional), chatTemplate (opcional)
CONSEGUIR	/API/Inferencia/Stop	Detener una inferencia	alias
CONSEGUIR	/API/Inferencia/Estado	Obtener el estado de una inferencia	alias (opcional)
CONSEGUIR	/API/Inferencia/Restablecimiento	Restablecer una inferencia	alias
CONSEGUIR	/API/Inferencia/Reiniciar	Reiniciar la inferencia actual	Ninguno
CONSEGUIR	/API/Hardware o/API/HardwareInfo	Obtener información de hardware	Ninguno
CONSEGUIR	/API/Seda	Obtener el estado de la memoria	Ninguno
CONSEGUIR	/API/Silk/Enable	Habilitar recuerdos	Ninguno
CONSEGUIR	/API/Silk/Disable	Desactivar recuerdos	Ninguno
CONSEGUIR	/API/Silk/MemoryBanks	Obtener información sobre los bancos de memoria	Ninguno
CONSEGUIR	/API/Silk/MemoryBank/activar	Activar un banco de memoria	memorybank
CONSEGUIR	/API/Silk/MemoryBank/Desactivate	Desactivar un banco de memoria	memorybank , all
CONSEGUIR	/API/Seda/Consulta	Realizar una consulta semántica	(Parámetros manejados por Silk Retriever)
CONSEGUIR	/API/Seda/Salud	Revise la salud del Retriever de seda	Ninguno
CONSEGUIR	/API/Silk/Model/Metadatos	Obtenga metadatos modelo del Retriever de seda	(Parámetros manejados por Silk Retriever)
CONSEGUIR	/API/SOUP	Iniciar el cierre del servidor	Ninguno
CORREO	/API/Utils/Log	Escribir en el registro	Cuerpo json con detalles del registro
CORREO	/API/Silk/Incrustación	Obtenga una incrustación del Retriever de Silk	(Parámetros manejados por Silk Retriever)

Usando la API

• Ejemplo: curl http://localhost:6568/api/silk/query?q=Tell%20me%20about%20the%20documents&limit=3&memorybank=docs

Ejemplos

Se pueden encontrar ejemplos de dabarqus en acción en este repositorio bajo ejemplos .

• Pythonpdfchatbot-Restapi: un programa de chatbot de ejemplo que usa Dabarqus a través de la API REST para chatear con sus PDF.
• Pythonpdfchatbot-pythonsdk: un programa de chatbot de ejemplo usando dabarqus a través del SDK de Python para chatear con sus PDF.
• StoreFiles: un ejemplo de Python de documentos de almacenamiento en un banco de memoria (índice semántico) utilizando el Python SDK

Notas:

1. Se requiere Dabarqus Professional Edition para correo electrónico, mensajería y soporte de API.