qdrant on fly

คลัสเตอร์ Qdrant ที่มีให้สูง on fly.io

Qdrant เป็นเครื่องมือค้นหาและฐานข้อมูลที่เชี่ยวชาญในการค้นหาความคล้ายคลึงกันระหว่างเวกเตอร์ มี API ที่ช่วยให้คุณสามารถจัดเก็บค้นหาและจัดการเวกเตอร์พร้อมกับข้อมูลเพิ่มเติม Qdrant ได้รับการออกแบบมาเพื่อรองรับความสามารถในการกรองขั้นสูงทำให้มีประโยชน์สำหรับงานต่าง ๆ เช่นการจับคู่เครือข่ายประสาทการค้นหาแบบ FaceTed และแอปพลิเคชันอื่น ๆ

Qdrant ถูกสร้างขึ้นโดยใช้ภาษาการเขียนโปรแกรมสนิมซึ่งช่วยให้มั่นใจได้ว่าประสิทธิภาพที่รวดเร็วและเชื่อถือได้แม้ว่าจะต้องจัดการกับข้อมูลจำนวนมาก คุณสามารถใช้ QDRANT เพื่อแปลง EMBEDDINGS หรือ Neural Network Encoders เป็นแอปพลิเคชันที่ทรงพลังสำหรับงานต่าง ๆ เช่นการจับคู่การค้นหาการแนะนำและอื่น ๆ โดยเฉพาะอย่างยิ่งฐานข้อมูลเวกเตอร์ (โดยเฉพาะ Qdrant) ได้เห็นความนิยมในการใช้เป็นร้านค้าเวกเตอร์ร่วมกับ LLM ที่ทันสมัย ดูปลั๊กอินการดึงข้อมูล CHATGPT สำหรับตัวอย่างที่ดีของสิ่งนี้

พื้นที่เก็บข้อมูลนี้มีไฟล์และการกำหนดค่าทั้งหมดที่จำเป็นในการเรียกใช้คลัสเตอร์ Qdrant (HA) ที่มีอยู่ในเครือข่ายส่วนตัวขององค์กร Fly.io พร้อมการสื่อสารและการค้นพบแบบ peer-to-peer (P2P)

---

เตรียมแอปพลิเคชัน Fly.io ใหม่และปรับใช้เพียร์แรก

เริ่มต้นด้วยการสร้างแอปพลิเคชัน Fly ใหม่ในภูมิภาคที่คุณต้องการ ดำเนินการคำสั่งต่อไปนี้ภายในส้อมหรือโคลนของที่เก็บนี้ แต่ก่อนอื่นให้แน่ใจว่าได้ตั้งค่าภูมิภาคหลักของคุณ (และชื่อแอพ) ในไฟล์ fly.toml

การใช้ Fly CLI Run ดังต่อไปนี้:

 fly launch --no-public-ips --from https://github.com/kylemclaren/qdrant-on-fly

คำสั่งนี้สร้างแอปพลิเคชัน Fly ใหม่พร้อมเครื่อง Runnning หนึ่งเครื่องและระดับเสียงที่แนบมา เมื่อได้รับแจ้งให้เลือก yes เพื่อคัดลอกการกำหนดค่าที่มีอยู่ไปยังแอพที่สร้างขึ้นใหม่ อย่าสร้างฐานข้อมูล PostgreSQL หรืออินสแตนซ์ UpStash Redis

เพิ่มเพื่อนใหม่

ขยายคลัสเตอร์โดยการโคลนเครื่องแรก ขณะนี้ fly scale count ไม่รองรับเครื่องปรับขนาดที่มีปริมาณการจัดเก็บถาวร เราจะใช้ 'Fly Machine Clone' เพื่อปรับขนาดคลัสเตอร์ของเรา

1. fly machine clone --region ord --select
2. fly status

เพิ่มเพื่อนในภูมิภาคอื่น

ปรับการตั้งค่าไปยังภูมิภาคอื่นโดยการโคลนนิ่งเครื่องที่นั่น ตอนนี้คุณควรมีเพื่อนสองคนใน ord และอีกคนหนึ่งใน jnb

1. fly machine clone --region jnb --select
2. fly status

การเชื่อมต่อ

การเชื่อมต่อจากแอปพลิเคชันไคลเอนต์

แอปพลิเคชันบินภายในองค์กรเดียวกันสามารถเชื่อมต่อกับฐานข้อมูล QDRANT ของคุณโดยใช้ URI ต่อไปนี้:

http:// < fly-app-name > .flycast:6333

ก่อนอื่นคุณจะต้องจัดสรรที่อยู่ IP แบบฟลายคาสต์ส่วนตัวให้กับแอปของคุณ คุณสามารถทำได้โดยเรียกใช้คำสั่งต่อไปนี้:

fly ips allocate-v6 --private

IP สาธารณะ

หากคุณต้องการให้แอปของคุณสามารถเข้าถึงได้แบบสาธารณะนอกเครือข่ายส่วนตัว Fly คุณสามารถจัดสรร IP สาธารณะให้กับแอป Fly และเริ่มใช้พร็อกซี Fly เพื่อเชื่อมต่อตามปกติ (เช่น https://<fly-app-name>.fly.dev )

คำเตือน หากคุณทำสิ่งนี้ให้แน่ใจว่าได้ตั้งค่าความลับ QDRANT__SERVICE__API_KEY

เชื่อมต่อกับ QDrant จากเครื่องในพื้นที่ของคุณ

1. ส่งต่อพอร์ตเซิร์ฟเวอร์ไปยังระบบท้องถิ่นของคุณด้วย fly proxy :

fly proxy 6333:6333 -a < fly-app-name >

2. ใช้เครื่องมือทดสอบ API ที่คุณชื่นชอบ (เช่นบุรุษไปรษณีย์หรือ curl ) เพื่อเชื่อมต่อกับอินสแตนซ์ QDRANT ของคุณในพอร์ตที่ส่งต่อ อ้างถึงเอกสารการบินเกี่ยวกับปริมาณสำหรับรายละเอียดเพิ่มเติมเกี่ยวกับวิธีจัดการกับปริมาณที่เก็บข้อมูลเวกเตอร์ของคุณอย่างปลอดภัย

curl -H " Content-Type: application/json " http://localhost:6333/cluster | jq

ผลลัพธ์

{
  "result" : {
    "status" : " enabled " ,
    "peer_id" : 8961156852769025 ,
    "peers" : {
      "8961156852769025" : {
        "uri" : " http://e286376be66286.vm.qdrant-6pn.internal:6335/ "
      },
      "6238012613461344" : {
        "uri" : " http://568370dc75418e.vm.qdrant-6pn.internal:6335/ "
      },
      "2504460418660966" : {
        "uri" : " http://148e722b75d789.vm.qdrant-6pn.internal:6335/ "
      }
    },
    "raft_info" : {
      "term" : 1314 ,
      "commit" : 3510 ,
      "pending_operations" : 0 ,
      "leader" : 8961156852769025 ,
      "role" : " Leader " ,
      "is_voter" : true
    },
    "consensus_thread_status" : {
      "consensus_thread_status" : " working " ,
      "last_update" : " 2023-06-20T22:23:48.543413978Z "
    },
    "message_send_failures" : {}
  },
  "status" : " ok " ,
  "time" : 4.125e-05
}

ตรงไปที่ http: // localhost: 6333/dashboard เพื่อดู Qdrant dashbaord ใหม่และโต้ตอบกับข้อมูลของคุณที่นั่น

การใช้งานขั้นสูง

การจัดเก็บข้อมูล

โดยค่าเริ่มต้นข้อมูล QDRANT และสแน็ปช็อตจะถูกเก็บไว้ใน /data/qdrant/ หากคุณต้องการเปลี่ยนตำแหน่งที่เก็บข้อมูลเริ่มต้นคุณสามารถปรับ QDRANT__STORAGE__SNAPSHOTS_PATH และ QDRANT__STORAGE__STORAGE_PATH ใน fly.toml

Qdrant Sharding และการจำลองแบบ

กลุ่มกระจายทั่วโลก

เช็ด

คำถามที่พบบ่อย

นี่เป็นความคิดที่ดีหรือไม่?

อาจไม่ใช่ ¯_(ツ)_/¯

---

มีปัญหา?

หากคุณกำลังเผชิญกับปัญหาหรือมีข้อสงสัยใด ๆ อย่าลังเลที่จะสร้างปัญหาที่นี่

ขอแนะนำให้เปิดใช้งานการบันทึกการดีบักก่อนที่จะยื่นปัญหา: fly secrets set QDRANT__DEBUG=true QDRANT__LOG_LEVEL=DEBUG

หรือคุณสามารถถามคำถามได้ที่หน้าชุมชนที่นี่

การบริจาค

หากคุณต้องการมีส่วนร่วมในโครงการส้อมและอย่าลังเลที่จะส่งคำขอดึง