HyperVectorDB

Hypervectordb

HypervectordB est une base de données vectorielle locale intégrée en C # qui prend en charge diverses mesures de distance / similitude. Il est conçu pour stocker des vecteurs et des documents associés et effectuer des requêtes vectorielles haute performance. Ce projet soutient la similitude du cosinus, la dissimilarité de Jaccard, ainsi que les distances euclidiennes, Manhattan, Chebyshev et Canberra. Si vous cherchez une bibliothèque Python pour faire la même chose, consultez John Dagdelen https://github.com/jdagdelen/hyperdb

Installation

 dotnet add package HyperVectorDB

Fonctionnalités (à mettre à jour)

• Cache de requête / réponse : actuellement soutenu uniquement pour les requêtes de similitude en cosinus. Cette fonction permet à la base de données de mettre en cache les résultats d'une requête pour un vecteur donné, de sorte que la prochaine fois que le même vecteur sera interrogé, les résultats sont renvoyés immédiatement. Cette fonctionnalité est utile pour les applications qui nécessitent des requêtes fréquentes sur le même vecteur.
• Invalidation du cache : l'invalidation du cache est prise en charge pour les requêtes de similitude en cosinus. Le cache est invalidé lorsqu'un nouveau vecteur est ajouté à la base de données ou lorsqu'un vecteur est supprimé de la base de données.
• Fonctions de requête : La base de données prend en charge plusieurs types de requêtes pour les mesures de similitude et de distance:
  • CHIMILITÉ COSINE : cette fonction effectue une requête de similitude en cosinus sur la base de données.
  • Dissimilarité de Jaccard : cette fonction effectue une requête de dissimilarité Jaccard sur la base de données.
  • Distance euclidienne : cette fonction effectue une requête de distance euclidienne sur la base de données.
  • Distance de Manhattan : cette fonction effectue une requête de distance de Manhattan sur la base de données.
  • Distance Chebyshev : cette fonction effectue une requête de distance Chebyshev sur la base de données.
  • Distance de Canberra : cette fonction effectue une requête de distance Canberra sur la base de données.
• Parallélisation automatique : Lorsqu'elle est configurée, la base de données se séparera automatiquement sur plusieurs fichiers et régions de mémoire pour profiter pleinement de l'Async Io sur le magasin et le multithreading sur la requête.
• Compression des données : lorsqu'elle est enregistrée sur le disque, la base de données utilise la compression LZ4

Chaque fonction de requête renvoie les k supérieurs et leurs valeurs de similitude ou de distance correspondantes. La valeur de k est configurable et par défaut 5.

Usage

Veuillez noter que ce projet est actuellement dans sa phase de développement. Certaines fonctions doivent encore être testées et la mise en cache pour certains types de requête reste à implémenter.

Exemple d'utilisation à la vente bientôt

Contributif

Les contributions sont les bienvenues. N'hésitez pas à alimenter le projet, à apporter des modifications et à ouvrir une demande de traction. Veuillez vous assurer de tester soigneusement toutes les modifications.

Licence

Ce projet est open-source. Libéré sous la licence du MIT. Veuillez consulter le fichier de licence pour plus d'informations.

Veuillez noter qu'une partie du code de ce projet (math.cs) est basée sur la bibliothèque Acord.math qui est publiée sous la licence GNU Leser General Public Licence v2.1. TFIDF est du projet de Kory Becker situé à https://github.com/primaryobjects/tfidf

À propos de ce projet et de son auteur et pourquoi il est devenu

Cela a commencé avec moi en me retournant dans l'intellence artificielle et en voulant le faire en utilisant C #. Je n'ai pas pu trouver quoi que ce soit qui répondrait à mes besoins pour une base de données vectorielle. Ensuite, John Dagdelen a mis en place ce magasin vectoriel dans Python https://github.com/jdagdelen/hyperdb, il était basique défaillant à l'époque publié sans autant de lignes de code, j'ai donc décidé d'essayer de l'utiliser pour le porter en C #. Cela a été quelque peu réussi, mais cela n'a pas tout à fait fonctionné au besoin, donc ce projet est né.