colbertdb

colbertdb

ColbertDB es una base de datos de código abierto diseñada para una recuperación de información eficiente utilizando Colbert y Plaid. Inspirado en y muy obtenido de Ragatouille, Colbertdb tiene como objetivo simplificar el complejo proceso de fragmentación de documentos, incrustación e indexación para aplicaciones de generación (RAG) de recuperación (RAG). Este proyecto surgió de las mejoras significativas observadas al cambiar de una base de datos vectorial tradicional a un índice basado en Colbert.

Motivación

La motivación detrás de Colbertdb es tres veces:

• Recuperación de información más relevante: el cambio de una base de datos vectorial a un índice basado en Colbert arrojó mejoras significativas en la recuperación de información para un proyecto. Esto destacó los beneficios potenciales de la indexación basada en Colbert sobre los métodos tradicionales.

• Interfaz amigable para el desarrollador: la configuración de la fragmentación de documentos, la incrustación y la indexación pueden ser desafiantes y propensos a errores. ColBertDB proporciona una interfaz simple con valores de valor inteligentes, lo que facilita a los desarrolladores integrar poderosas capacidades de recuperación de información en sus aplicaciones.

• Reducción de la dependencia de los proveedores de modelos externos: poseer el modelo de incrustación significa que no hay dependencia de las API de incrustación externas y la capacidad de ajustar el modelo subyacente a su dominio específico para una relevancia de recuperación aún mejor.

Características

• COLBERT E INDEXIGACIÓN DE PAQUILLOS: Aprovecha las estrategias ColbertDB y cuadros de última generación para una recuperación de información eficiente y precisa.
• API simple: API REST fácil de usar para administrar colecciones, agregar documentos y realizar búsquedas.
• Predeterminados inteligentes: configuración preconfigurada para fragmentos de documentos, incrustación e indexación, asegurando un rendimiento óptimo con una configuración mínima.
• Integración de Fastapi: construido con FastAPI, proporcionando un marco web moderno, rápido y robusto.
• Python and TypeScript Clientes: Pycolbertdb y Colbertdb-TS están disponibles para una integración perfecta.

Corriendo Colbertdb

La imagen Docker utiliza una imagen base CUDA y utilizará GPU si está disponible. Se recomienda ejecutar COLBERTDB en hardware con GPU, ya que los documentos de indexación es prohibitivamente lento utilizando CPU. Necesitará Docker Running (https://www.docker.com/products/docker-desktop/) para comenzar localmente.

docker build . -t colbertdb:latest
docker run colbertdb:latest

o

 docker compose up --build