vecdb

vecdb

ฐานข้อมูลการฝังเวกเตอร์ที่ง่ายมากคุณสามารถพูดได้ว่ามันเป็นตารางแฮชที่ให้คุณค้นหารายการที่คล้ายกับรายการที่คุณกำลังค้นหา

ทำไม!

ฉันเป็นผู้ที่ชื่นชอบฐานข้อมูลและนี่เป็นโครงการเพื่อความสนุกสนานและการเรียนรู้ที่สามารถใช้ในการผลิต;)

PS : ฉันชอบคิดค้นล้อใหม่ในเวลาว่างเพราะมันเป็นเวลาว่างของฉัน!

รูปแบบข้อมูล

ฉันใช้โมเดล {key => value}

• key ควรเป็นค่าที่ไม่ซ้ำกันซึ่งแสดงถึงรายการ
• value ควรเป็นเวกเตอร์เอง (รายการลอย)

การกำหนดค่า

โดยค่าเริ่มต้น vecdb จะค้นหา config.yml ในไดเรกทอรีการทำงานปัจจุบัน แต่คุณสามารถแทนที่ได้โดยใช้ --config /path/to/config.yml Flag โดยการให้เส้นทางไฟล์ที่กำหนดเองของคุณเอง

 # http server related configs
server :
  # the address to listen on in the form of '[host]:port'
  listen : " 0.0.0.0:3000 "

# storage related configs
store :
  # the driver you want to use
  # currently vecdb supports "bolt" which is based on boltdb the in process embedded the database
  driver : " bolt "
  # the arguments required by the driver
  # for bolt, it requires a key called `database` points to the path you want to store the data in.
  args :
    database : " ./vec.db "

# embeddings related configs
embedder :
  # whether to enable the embedder and all endpoints using it or not
  enabled : true
  # the driver you want to use, currently vecdb supports gemini
  driver : gemini
  # the arguments required by the driver
  # currently gemini driver requires `api_key` and `text_embedding_model`
  args :
    # by default vecdb will replace anything between ${..} with the actual value from the ENV var
    api_key : " ${GEMINI_API_KEY} "
    text_embedding_model : " text-embedding-004 "

ส่วนประกอบ

• ชั้นเวกเตอร์ดิบ (ระดับต่ำ)
  • ส่ง VectorWriteRequest ไปที่ POST /v1/vectors/write เมื่อคุณมีเวกเตอร์และต้องการจัดเก็บไว้ที่ไหนสักแห่ง
  • ส่ง vectorSearchRequest ไปที่ POST /v1/vectors/search เมื่อคุณมีเวกเตอร์และต้องการแสดงรายการคีย์/รหัสของเวกเตอร์ที่คล้ายกันทั้งหมดที่สั่งโดยความคล้ายคลึงกันของโคไซน์ในลำดับจากมากไปน้อย
• การฝังเลเยอร์ (ไม่บังคับ)
  • ส่ง textembeddingWritequest ไปที่ POST /v1/embeddings/text/write เมื่อคุณมีข้อความและต้องการให้ vecdb สร้างและจัดเก็บเวกเตอร์สำหรับคุณโดยใช้ Embedder ที่กำหนดค่า (ราศีเมถุนตอนนี้)
  • ส่ง TextemBedDingSearchRequest ไปที่ POST /v1/embeddings/text/search เมื่อคุณมีข้อความและต้องการให้ vecdb สร้างเวกเตอร์และค้นหากุญแจของเวกเตอร์ที่คล้ายกันสำหรับคุณที่สั่งโดยความคล้ายคลึงกันของโคไซน์ตามลำดับจากมากไปน้อย

การร้องขอ

VectorWriteRequest

 {
  "bucket" : "BUCKET_NAME" , // consider it a collection or a table
  "key" : "product-id-1" , // should be unique and represents a valid value in your main data store (example: the row id in your mysql/postgres ... etc)
  "vector" : [ 1.929292 , 0.3848484 , - 1.9383838383 , ... ] // the vector you want to store 
}

vectorSearchRequest

 {
  "bucket" : "BUCKET_NAME" , // consider it a collection or a table
  "vector" : [ 1.929292 , 0.3848484 , - 1.9383838383 , ... ] , // you will get a list ordered by cosine-similarity in descending order
  "min_cosine_similarity" : 0.0 , // the more you increase, the fewer data you will get
  "max_result_count" : 10 // max vectors to return (vecdb will first order by cosine similarity then apply the limit)
}

TextembeddingWritequest

หากคุณตั้งค่า embedder.enabled เป็น true

 {
  "bucket" : "BUCKET_NAME" , // consider it a collection or a table
  "key" : "product-id-1" , // should be unique and represents a valid value in your main data store (example: the row id in your mysql/postgres ... etc)
  "content" : "This is some text representing the product" // this will be converted to a vector using the configured embedder 
}

TextembeddingSearchRequest

หากคุณตั้งค่า embedder.enabled เป็น true

 {
  "bucket" : "BUCKET_NAME" , // consider it a collection or a table
  "content" : "A Product Text" , // you will get a list ordered by cosine-similarity in descending order
  "min_cosine_similarity" : 0.0 , // the more you increase, the fewer data you will get
  "max_result_count" : 10 // max vectors to return (vecdb will first order by cosine similarity then apply the limit)
}

ดาวน์โหลด/ติดตั้ง

• เป็นไบนารี
• ภาพนักเทียบท่า