HyperVectorDB

Hypervectordb

Hypervectordb ist eine lokale Vektor -Datenbank, die in C# integriert ist, die verschiedene Distanz-/Ähnlichkeitsmaßnahmen unterstützt. Es wurde entwickelt, um Vektoren und zugehörige Dokumente zu speichern und Hochleistungsvektorabfragen durchzuführen. Dieses Projekt unterstützt Cosinus -Ähnlichkeit, Jaccard -Unähnlichkeit sowie euklidische, Manhattan-, Chebyshev- und Canberra -Entfernungen. Wenn Sie nach einer Python -Bibliothek suchen, um dasselbe zu tun

Installation

 dotnet add package HyperVectorDB

Funktionen (aktualisiert werden)

• Abfrage/Antwort Caching : Derzeit nur für Abfragen der Kosinus -Ähnlichkeit unterstützt. Diese Funktion ermöglicht es der Datenbank, die Ergebnisse einer Abfrage für einen bestimmten Vektor zu speichern, sodass der nächste Mal derselbe Vektor abgefragt wird, die Ergebnisse sofort zurückgegeben werden. Diese Funktion ist nützlich für Anwendungen, die häufige Abfragen an demselben Vektor erfordern.
• Cache -Invalidierung : Die Cache -Invalidierung wird für Abfragen der Kosinus -Ähnlichkeit unterstützt. Der Cache wird ungültig, wenn ein neuer Vektor zur Datenbank hinzugefügt wird oder wenn ein Vektor aus der Datenbank entfernt wird.
• Abfragefunktionen : Die Datenbank unterstützt verschiedene Arten von Abfragen für Ähnlichkeits- und Entfernungsmaßnahmen:
  • Ähnlichkeit der Kosinus : Diese Funktion führt eine Cosinus -Ähnlichkeitsabfrage in der Datenbank aus.
  • Jaccard Unähnlichkeit : Diese Funktion führt eine Jaccard -Unähnlichkeitsabfrage in der Datenbank aus.
  • Euklidische Entfernung : Diese Funktion führt eine euklidische Abfrage in der Datenbank aus.
  • Manhattan -Distanz : Diese Funktion führt eine Abfrage in Manhattan in der Datenbank aus.
  • Chebyshev Distanz : Diese Funktion führt eine Chebyshev -Distanzabfrage in der Datenbank aus.
  • Canberra -Entfernung : Diese Funktion führt eine Canberra -Distanzabfrage in der Datenbank aus.
• Automatische Parallelisierung : Wenn die Datenbank konfiguriert wird, wird die Datenbank automatisch über mehrere Dateien und Speicherregionen aufgeteilt, um den asynchronen IO im Speicher und Multithreading bei der Abfrage voll auszunutzen.
• Datenkomprimierung : Wenn die Datenbank auf der Festplatte gespeichert ist, verwendet die Datenbank die LZ4 -Komprimierung

Jede Abfragefunktion gibt die oberen k -Dokumente und ihre entsprechenden Ähnlichkeits- oder Entfernungswerte zurück. Der Wert von k ist konfigurierbar und standardmäßig auf 5.

Verwendung

Bitte beachten Sie, dass sich dieses Projekt derzeit in seiner Entwicklungsphase befindet. Einige Funktionen müssen noch getestet werden, und das Zwischenspeichern für einige Abfragetypen muss noch implementiert werden.

Beispielnutzung bald

Beitragen

Beiträge sind willkommen. Bitte zögern Sie nicht, das Projekt zu streichen, Änderungen vorzunehmen und eine Pull -Anfrage zu öffnen. Bitte stellen Sie sicher, dass Sie alle Änderungen gründlich testen.

Lizenz

Dieses Projekt ist Open-Source. Unter der MIT -Lizenz veröffentlicht. Weitere Informationen finden Sie in der Lizenzdatei.

Bitte beachten Sie, dass ein Teil des Code in diesem Projekt (Math.cs) auf der ACORD.Math -Bibliothek basiert, die im Rahmen der GNU Lesser General Public Lizenz v2.1 veröffentlicht wird. TFIDF stammt aus Kory Becers Projekt unter https://github.com/primaryobjects/tfidf

Über dieses Projekt und seinen Autor und warum es kam, um zu sein

Es begann damit, dass ich wieder in künstliche Intellegeration stieg und dies mit C#tun wollte. Ich konnte nichts finden, was meine Bedürfnisse nach einer Vektor -Datenbank erfüllen würde. Dann stellte John Dagdelen diesen Vektor Store in Python https://github.com/jdagdelen/hyperdb zusammen. Es war zu dem Zeitpunkt, an dem ohne so viele Codezeilen veröffentlicht wurde, fehlgeschlagen. Dies war etwas erfolgreich, aber es funktionierte nicht ganz nach Bedarf, so dass dieses Projekt geboren wurde.