pg vector embed rust

PG Vector Embedding dan Query Rust

Repositori ini berisi sistem berbasis karat untuk mengelola embeddings vektor dan menanyakannya menggunakan database vektor yang didukung PostgreSQL. Sistem ini dirancang untuk menangani pembuatan, penyimpanan, dan permintaan yang menanamkan.

Daftar isi

• Ringkasan
• Fitur
• Struktur Direktori
• Memulai
  • Prasyarat
  • Instalasi
  • Menjalankan aplikasi
• Penggunaan
  • Perintah
  • Konfigurasi
  • Menanamkan dan meminta
• Pengujian
• Berkontribusi
• Lisensi

Ringkasan

Sistem ini terdiri dari beberapa modul yang menangani berbagai aspek dari proses penyematan dan permintaan:

• Perintah : Menangani argumen dan sub-perintah baris perintah.
• Config : Mengelola pengaturan konfigurasi untuk permintaan embedding dan koneksi basis data.
• Konstanta : Memberikan nilai konstan yang digunakan di seluruh aplikasi.
• Embedding : Berisi logika untuk menghasilkan embeddings dan bertahan di database.
• VectorBB : Menangani interaksi dengan database PostgreSQL untuk menyimpan dan meminta embeddings vektor.

Fitur

• Generasi Embedding : Menghasilkan embeddings vektor dari data input.
• Kegigihan Database : Store Embeddings dalam database PostgreSQL.
• Permintaan : Permintaan database untuk menemukan tetangga terdekat berdasarkan embeddings vektor.

Struktur Direktori

 src/
├── app/
│   ├── commands.rs
│   ├── config.rs
│   └── constants.rs
├── embedding/
│   ├── run_embedding.rs
│   └── vector_embedding.rs
├── main.rs
├── tests/
│   ├── setup_docker.rs
│   ├── test_pgclient.rs
│   ├── test_query_vector.rs
│   ├── test_run_embedding.rs
│   └── test_vector_embedding.rs
├── vectordb/
│   ├── pg_vector.rs
│   └── query_vector.rs
├── lib.rs
├── vectordb/mod.rs
├── tests/mod.rs
├── embedding/mod.rs
└── app/mod.rs

Memulai

Prasyarat

• Karat (versi stabil terbaru)
• PostgreSQL Vektor DB.
• Docker (untuk menjalankan tes)
• Layanan ollama aktif dengan nomic-embed-text atau model serupa.

Instalasi

1. Klon Repositori:

   git clone https://github.com/rupeshtr78/pg-vector-embed-rust.git
   cd pg-vector-embed-rust

2. Instal dependensi:

   cargo build

Menjalankan aplikasi

1. Mulai database Vektor PostgreSQL (jika belum berjalan).

2. Layanan Ollama harus berjalan dengan model yang ditentukan.

3. Jalankan aplikasi:

   cargo run
      
   

Penggunaan

Perintah

Aplikasi mendukung berbagai perintah dan sub -perintah. Gunakan bendera --help untuk melihat opsi yang tersedia:

   cargo run -- --help
   cargo run -- write --input " dog sound is called bark " --input " cat sounds is called purr " --model " nomic-embed-text " --table " from_rust2 " --dim 768 --log-level " debug "
   cargo run -- query --input " who is barking " --model " nomic-embed-text " --table " from_rust2 "  

Konfigurasi

Pengaturan konfigurasi untuk permintaan embedding dan koneksi basis data dikelola dalam src/app/config.rs . Anda dapat memodifikasi pengaturan ini sesuai kebutuhan.

Menanamkan dan meminta

• Hasilkan Embeddings : Gunakan fungsi run_embedding untuk menghasilkan embeddings dan bertahan di database.
• Query Embeddings : Gunakan fungsi run_query untuk meminta database untuk tetangga terdekat berdasarkan embeddings vektor.

Pengujian

Repositori mencakup rangkaian tes yang komprehensif untuk memastikan fungsi sistem dengan benar. Untuk menjalankan tes:

cargo test 

Berkontribusi

Kontribusi dipersilakan! Harap baca file contributing.md untuk detail tentang cara berkontribusi pada proyek ini.

Lisensi

Proyek ini dilisensikan di bawah lisensi MIT - lihat file lisensi untuk detailnya.

---

Jangan ragu untuk menyesuaikan readme ini lebih lanjut berdasarkan kebutuhan spesifik dan detail proyek Anda.