HyperVectorDB

HypervectordB

HypervectordB es una base de datos vectorial local integrada en C# que admite varias medidas de distancia/similitud. Está diseñado para almacenar vectores y documentos asociados y realizar consultas de vectores de alto rendimiento. Este proyecto respalda la similitud coseno, la diferencia de Jaccard, así como las distancias Euclidianas, Manhattan, Chebyshev y Canberra. Si está buscando una biblioteca de Python para hacer lo mismo, consulte John Dagdelen https://github.com/jdagdelen/hyperdb

Instalación

 dotnet add package HyperVectorDB

Características (para actualizarse)

• Consulta/Respuesta en caché : actualmente solo es compatible con consultas de similitud de coseno. Esta característica permite que la base de datos almacene en caché los resultados de una consulta para un vector dado, de modo que la próxima vez que se consulte el mismo vector, los resultados se devuelven de inmediato. Esta característica es útil para aplicaciones que requieren consultas frecuentes en el mismo vector.
• Invalidación de caché : la invalidación de caché es compatible con consultas de similitud de coseno. El caché se invalida cuando se agrega un nuevo vector a la base de datos, o cuando se elimina un vector de la base de datos.
• Funciones de consulta : la base de datos admite varios tipos de consultas para medidas de similitud y distancia:
  • Similitud de coseno : esta función realiza una consulta de similitud de coseno en la base de datos.
  • Disimilaridad de Jaccard : esta función realiza una consulta de disimilitud de Jaccard en la base de datos.
  • Distancia euclidiana : esta función realiza una consulta de distancia euclidiana en la base de datos.
  • Distancia de Manhattan : esta función realiza una consulta de distancia de Manhattan en la base de datos.
  • Distancia de Chebyshev : esta función realiza una consulta de distancia de Chebyshev en la base de datos.
  • Distancia de Canberra : esta función realiza una consulta de distancia de Canberra en la base de datos.
• Paralelización automática : cuando está configurada, la base de datos se dividirá automáticamente en múltiples archivos y regiones de memoria para aprovechar al máximo el ASYNC IO en la tienda y la consulta multithreading en la consulta.
• Compresión de datos : cuando se guarda en el disco, la base de datos utiliza la compresión LZ4

Cada función de consulta devuelve los principales documentos k y sus valores de similitud o distancia correspondientes. El valor de k es configurable y el valor predeterminado es 5.

Uso

Tenga en cuenta que este proyecto está actualmente en su fase de desarrollo. Aún no se han implementado algunas funciones, y el almacenamiento en caché de algunos tipos de consultas aún no se ha implementado.

Ejemplo de uso que llega pronto

Que contribuye

Las contribuciones son bienvenidas. No dude en desembolsar el proyecto, hacer cambios y abrir una solicitud de extracción. Asegúrese de probar todos los cambios a fondo.

Licencia

Este proyecto es de código abierto. Liberado bajo la licencia MIT. Consulte el archivo de licencia para obtener más información.

Tenga en cuenta que parte del código en este proyecto (MATH.CS) se basa en la Biblioteca Acord. TFIDF es del proyecto de Kory Becker ubicado en https://github.com/primaryObjects/tfidf

Sobre este proyecto y su autor y por qué llegó a ser

Comenzó conmigo volviendo a la intelgencia artificial y queriendo hacerlo usando C#. No pude encontrar nada que replique mis necesidades para una base de datos vectorial. Luego, John Dagdelen reunió esta tienda de vectores en Python https://github.com/jdagdelen/hyperdb, fue básico en el momento publicado sin tantas líneas de código, así que decidí intentar usar GPT para portarle a C#. Esto fue algo exitoso, pero no funcionó del todo lo necesario, por lo que nació este proyecto.