qdrant on fly Download - qdrant on fly Source Code Download

qdrant on fly

Kode sumber lainnya

1.0.0

Unduh

Cluster Qdrant yang sangat tersedia di fly.io

Serat

Qdrant adalah mesin pencari dan basis data yang berspesialisasi dalam menemukan kesamaan antara vektor. Ini memiliki API yang memungkinkan Anda untuk menyimpan, mencari, dan mengelola vektor bersama dengan informasi tambahan. Qdrant dirancang untuk mendukung kemampuan penyaringan lanjutan, menjadikannya berguna untuk tugas -tugas seperti pencocokan jaringan saraf, pencarian faceted, dan aplikasi lainnya.

Qdrant dibangun menggunakan bahasa pemrograman karat, yang memastikan kinerja yang cepat dan andal bahkan ketika berhadapan dengan sejumlah besar data. Anda dapat menggunakan Qdrant untuk mengubah embeddings atau encoder jaringan saraf menjadi aplikasi yang kuat untuk tugas -tugas seperti mencocokkan, mencari, merekomendasikan, dan banyak lagi. Khususnya, database vektor (khususnya Qdrant) telah melihat lonjakan popularitas untuk penggunaannya sebagai toko vektor dalam kombinasi dengan LLM modern. Lihat plugin pengambilan chatgpt untuk contoh yang baik tentang ini.

Repositori ini berisi semua file dan konfigurasi yang diperlukan untuk menjalankan cluster Qdrant yang sangat tersedia (HA) pada jaringan pribadi organisasi Fly.io dengan komunikasi dan penemuan peer-to-peer (P2P).

Siapkan aplikasi fly.io baru dan sebarkan rekan pertama

Mulailah dengan membuat aplikasi terbang baru di wilayah pilihan Anda. Jalankan perintah berikut dalam garpu atau klon repositori ini. Tapi pertama -tama, pastikan untuk mengatur wilayah utama Anda (dan nama aplikasi) di file fly.toml .

Menggunakan Fly Cli yang dijalankan sebagai berikut:

 fly launch --no-public-ips --from https://github.com/kylemclaren/qdrant-on-fly

Perintah ini membuat aplikasi terbang baru dengan satu mesin runnning dan volume yang terpasang. Saat diminta, pilih yes untuk menyalin konfigurasi yang ada ke aplikasi yang baru dihasilkan. Jangan membuat basis data PostgreSQL atau instance Redis Upstash.

Tambahkan rekan baru

Perluas cluster dengan mengkloning mesin pertama. Saat ini, fly scale count tidak mendukung mesin penskalaan dengan volume penyimpanan persisten. Kami akan menggunakan 'Fly Machine Clone' untuk skala cluster kami.

fly machine clone --region ord --select
fly status

Tambahkan rekan di wilayah lain

Skala pengaturan ke wilayah lain dengan mengkloning mesin di sana. Sekarang Anda harus memiliki dua rekan di ord dan satu lagi di jnb .

fly machine clone --region jnb --select
fly status

Menghubungkan

Menghubungkan dari aplikasi klien

Aplikasi terbang dalam organisasi yang sama dapat terhubung ke database QDRant Anda menggunakan URI berikut:

http:// < fly-app-name > .flycast:6333

Pertama, Anda harus mengalokasikan alamat IP flycast pribadi ke aplikasi Anda. Anda dapat melakukan ini dengan menjalankan perintah berikut:

fly ips allocate-v6 --private

IP publik

Jika Anda memerlukan aplikasi Anda untuk dapat diakses secara publik di luar jaringan Private Fly, Anda dapat dengan mudah mengalokasikan IP publik ke aplikasi Fly dan mulai menggunakan Proxy Fly untuk terhubung seperti biasa (mis https://<fly-app-name>.fly.dev

Peringatan jika Anda melakukan ini, pastikan untuk mengatur rahasia QDRANT__SERVICE__API_KEY .

Menghubungkan ke Qdrant dari mesin lokal Anda

Meneruskan port server ke sistem lokal Anda dengan fly proxy :

fly proxy 6333:6333 -a < fly-app-name >

Gunakan alat pengujian API favorit Anda (seperti postman atau curl ) untuk terhubung ke instance qdrant Anda pada port yang diteruskan. Lihat dokumentasi terbang tentang volume untuk detail lebih lanjut tentang cara menangani volume yang aman yang menyimpan data vektor Anda.

curl -H " Content-Type: application/json " http://localhost:6333/cluster | jq

Hasil

{
  "result" : {
    "status" : " enabled " ,
    "peer_id" : 8961156852769025 ,
    "peers" : {
      "8961156852769025" : {
        "uri" : " http://e286376be66286.vm.qdrant-6pn.internal:6335/ "
      },
      "6238012613461344" : {
        "uri" : " http://568370dc75418e.vm.qdrant-6pn.internal:6335/ "
      },
      "2504460418660966" : {
        "uri" : " http://148e722b75d789.vm.qdrant-6pn.internal:6335/ "
      }
    },
    "raft_info" : {
      "term" : 1314 ,
      "commit" : 3510 ,
      "pending_operations" : 0 ,
      "leader" : 8961156852769025 ,
      "role" : " Leader " ,
      "is_voter" : true
    },
    "consensus_thread_status" : {
      "consensus_thread_status" : " working " ,
      "last_update" : " 2023-06-20T22:23:48.543413978Z "
    },
    "message_send_failures" : {}
  },
  "status" : " ok " ,
  "time" : 4.125e-05
}

Pergilah ke http: // localhost: 6333/dasbor untuk melihat qdrant dashbaord baru dan berinteraksi dengan data Anda di sana.

Penggunaan lanjutan

Penyimpanan data

Secara default, data dan snapshot qdrant disimpan di /data/qdrant/ . Jika Anda perlu mengubah lokasi penyimpanan default, Anda dapat menyesuaikan QDRANT__STORAGE__SNAPSHOTS_PATH dan QDRANT__STORAGE__STORAGE_PATH variabel di fly.toml