HyperVectorDB

Hypervectordb

HypervectordB adalah database vektor lokal yang dibangun di C# yang mendukung berbagai ukuran jarak/kesamaan. Ini dirancang untuk menyimpan vektor dan dokumen terkait dan melakukan kueri vektor kinerja tinggi. Proyek ini mendukung kesamaan kosinus, perbedaan jaccard, serta jarak Euclidean, Manhattan, Chebyshev, dan Canberra. Jika Anda mencari perpustakaan Python untuk melakukan hal yang sama, periksa John Dagdelen https://github.com/jdagdelen/hyperdb

Instalasi

 dotnet add package HyperVectorDB

Fitur (akan diperbarui)

• CACHING QUERY/Response : Saat ini hanya didukung untuk kueri kesamaan kosinus. Fitur ini memungkinkan database untuk menyimpan hasil kueri untuk vektor yang diberikan, sehingga waktu berikutnya vektor yang sama ditanya, hasilnya segera dikembalikan. Fitur ini berguna untuk aplikasi yang membutuhkan pertanyaan yang sering pada vektor yang sama.
• Cache Invalidasi : Cache Invalidasi didukung untuk kueri kesamaan cosinus. Cache tidak valid ketika vektor baru ditambahkan ke database, atau ketika vektor dihapus dari database.
• Fungsi kueri : Basis data mendukung beberapa jenis kueri untuk kesamaan dan ukuran jarak:
  • Kesamaan Cosinus : Fungsi ini melakukan kueri kesamaan cosinus pada database.
  • Jaccard Dissimilarity : Fungsi ini melakukan kueri perbedaan jaccard pada database.
  • Jarak Euclidean : Fungsi ini melakukan kueri jarak Euclidean pada database.
  • Jarak Manhattan : Fungsi ini melakukan kueri jarak Manhattan pada database.
  • Jarak Chebyshev : Fungsi ini melakukan kueri jarak Chebyshev pada database.
  • Jarak Canberra : Fungsi ini melakukan kueri jarak Canberra pada database.
• Paralelisasi Otomatis : Ketika dikonfigurasi, database akan secara otomatis terpecah di beberapa file dan daerah memori untuk mengambil keuntungan penuh dari async IO di toko dan multithreading pada kueri.
• Kompresi Data : Saat disimpan ke disk, database menggunakan kompresi LZ4

Setiap fungsi kueri mengembalikan dokumen k atas dan kesamaan atau nilai jarak yang sesuai. Nilai k dapat dikonfigurasi dan default ke 5.

Penggunaan

Harap dicatat bahwa proyek ini saat ini sedang dalam fase pengembangannya. Beberapa fungsi masih perlu diuji, dan caching untuk beberapa jenis permintaan belum diimplementasikan.

Contoh penggunaan segera datang

Berkontribusi

Kontribusi dipersilakan. Jangan ragu untuk membayar proyek, membuat perubahan, dan membuka permintaan tarik. Pastikan untuk menguji semua perubahan secara menyeluruh.

Lisensi

Proyek ini open-source. Dirilis di bawah lisensi MIT. Silakan lihat file lisensi untuk informasi lebih lanjut.

Harap dicatat bahwa beberapa kode dalam proyek ini (Math.cs) didasarkan pada ACORD.math Library yang dirilis di bawah lisensi GNU Lesser General Public License v2.1. TFIDF berasal dari proyek Kory Becker yang berlokasi di https://github.com/primaryobjects/tfidf

Tentang proyek ini dan penulisnya dan mengapa itu terjadi

Itu dimulai dengan saya kembali ke intelegensi buatan dan ingin melakukannya menggunakan C#. Saya tidak dapat menemukan apa pun yang akan sesuai dengan kebutuhan saya untuk database vektor. Kemudian John Dagdelen mengumpulkan toko vektor ini di Python https://github.com/jdagdelen/hyperdb, itu adalah dasar faily pada saat diposting tanpa banyak baris kode sehingga saya memutuskan untuk mencoba dan menggunakan GPT untuk port ke c#. Ini agak berhasil tetapi tidak cukup berfungsi sesuai kebutuhan sehingga proyek ini lahir.