whiplash

โครงการนี้เร็วสุด ๆ ไม่พร้อมสำหรับการผลิต

วิปราด

Serverless, Lightweight และ Fast Vector ที่ด้านบนของ DynamoDB

คำอธิบาย

Whiplash เป็นร้านค้าเวกเตอร์ที่มีน้ำหนักเบาที่สร้างขึ้นบน AWS DynamoDB มันใช้ตัวแปรของการแฮชที่ไวต่อท้องถิ่น (LSH) ในการจัดทำดัชนีเวกเตอร์ในตาราง DynamoDB สิ่งนี้มีวัตถุประสงค์เพื่อเป็นร้านค้าที่มีเลียนแบบที่ปรับขนาดได้และรวดเร็วและมีจุดประสงค์เพื่อใช้งานง่ายมากต่อการบำรุงรักษาและโฮสต์ตัวเอง

มีองค์ประกอบหลักหลายประการในการ Whiplash:

• Whiplash Serverless API - API ที่ใช้งานได้อย่างสมบูรณ์ซึ่งสามารถนำไปใช้กับ AWS ด้วยคำสั่งไม่กี่คำ
• Whiplash Client / SDK - ห้องสมุด Python ที่สามารถใช้ในการโต้ตอบโดยตรงกับ Whiplash Internals (พูดคุยโดยตรงกับ DynamoDB) หรือผ่าน API
• Whiplash CLI - CLI ที่สามารถใช้ในการโต้ตอบกับ Whiplash Serverless API (สิ่งที่ต้องทำ)

การติดตั้ง

ห้องสมุด

pip install whiplash-client

# OR

poetry add whiplash-client

Serverless API (AWS)

npm install -g serverless
serverless install --url https://github.com/ericmillsio/whiplash
cd whiplash
npm install

เตรียมพร้อมสำหรับการปรับใช้:

1. การตั้งค่า env

cp .env.example .env
# Change AWS_PROFILE within .env to your AWS profile
# Adjust other values if you want

2. ตรวจสอบให้แน่ใจว่าคุณติดตั้ง Docker/Colima และทำงานเพื่อสร้างอาคาร

ปรับใช้กับ AWS:

serverless deploy --stage dev --region us-east-2

ผลลัพธ์ที่คาดว่าจะอยู่ด้านล่าง หมายเหตุคีย์ API สำหรับการเข้าถึงและจุดสิ้นสุดที่จะใช้

Running " serverless " from node_modules

Deploying whiplash to stage dev (us-east-2)

✔ Service deployed to stack whiplash-dev (64s)

api keys:
  dev-api-key: < YOUR API KEY WILL BE HERE >
endpoints:
  GET - https://API_ID.execute-api.us-east-2.amazonaws.com/dev/projects/{projectId}
  POST - https://API_ID.execute-api.us-east-2.amazonaws.com/dev/projects
  GET - https://API_ID.execute-api.us-east-2.amazonaws.com/dev/projects
  POST - https://API_ID.execute-api.us-east-2.amazonaws.com/dev/projects/{projectId}/collections
  GET - https://API_ID.execute-api.us-east-2.amazonaws.com/dev/projects/{projectId}/collections
  GET - https://API_ID.execute-api.us-east-2.amazonaws.com/dev/projects/{projectId}/collections/{collectionId}
  POST - https://API_ID.execute-api.us-east-2.amazonaws.com/dev/projects/{projectId}/collections/{collectionId}/items
  POST - https://API_ID.execute-api.us-east-2.amazonaws.com/dev/projects/{projectId}/collections/{collectionId}/items/batch
  GET - https://API_ID.execute-api.us-east-2.amazonaws.com/dev/projects/{projectId}/collections/{collectionId}/items/{itemId}
  GET - https://API_ID.execute-api.us-east-2.amazonaws.com/dev/projects/{projectId}/collections/{collectionId}/search
functions:
  getProject: whiplash-dev-getProject (12 kB)
  createProject: whiplash-dev-createProject (12 kB)
  listProjects: whiplash-dev-listProjects (12 kB)
  createCollection: whiplash-dev-createCollection (12 kB)
  listCollections: whiplash-dev-listCollections (12 kB)
  getCollection: whiplash-dev-getCollection (12 kB)
  createItem: whiplash-dev-createItem (12 kB)
  createItems: whiplash-dev-createItems (12 kB)
  getItem: whiplash-dev-getItem (12 kB)
  searchItems: whiplash-dev-searchItems (12 kB)

การใช้งาน

มีสามวิธีในการใช้ Whiplash: ในฐานะไคลเอนต์โดยตรงในฐานะ API ที่ไม่มีเซิร์ฟเวอร์หรือเป็นพร็อกซ์ไลบรารีผ่าน API

ลูกค้าโดยตรง

ห้องสมุดเป็นวิธีที่ยืดหยุ่นที่สุดในการใช้ Whiplash สามารถใช้ในโครงการ Python ใด ๆ และสามารถใช้ในการสร้างแอปพลิเคชันที่กำหนดเองบน Whiplash โดยไม่ต้องปรับใช้ API มันจะจัดการตารางโดยตรง ขอแนะนำให้ใช้ภายใน AWS เพื่อหลีกเลี่ยงเวลาแฝงเครือข่าย แต่สามารถใช้ภายนอกเพื่อทดสอบ/ประเมินผล

 import numpy as np

from whiplash import Vector , Whiplash

# AWS_PROFILE must be set in environment variables for boto3
whiplash = Whiplash ( "us-east-2" , "dev" )

# First time only setup
whiplash . setup ()

collection = whiplash . create_collection ( "test_collection" , n_features = 3 )

# Insert a vector
item = Vector ( "some_id" , np . ndarray ([ 1 , 2 , 3 ]))
collection . insert ( item )

# Search for the inserted vector
result = collection . search ( item . vector , limit = 1 )

API ที่ไม่มีเซิร์ฟเวอร์

Serverless API เป็น microservice ที่ใช้งานได้อย่างสมบูรณ์และสามารถนำไปใช้กับ AWS ด้วยคำสั่งไม่กี่คำ API ถูกสร้างขึ้นโดยใช้ Serverless และ AWS Lambda

จุดสิ้นสุด API:

• /projects
• /projects/{projectId}
• /projects/{projectId}/collections
• /projects/{projectId}/collections/{collectionId}
• /projects/{projectId}/collections/{collectionId}/items
• /projects/{projectId}/collections/{collectionId}/items/{itemId}
• /projects/{projectId}/collections/{collectionId}/search

ส่วนหัวที่จำเป็น:

• x-api-key: API_KEY
• Content-Type: application/json

คุณสามารถเลือกที่จะโต้ตอบกับ API โดยตรงหรือใช้ไลบรารีไคลเอนต์ Whiplash ไฟล์ API.YAML รวมอยู่ในโครงการเพื่อใช้กับบุรุษไปรษณีย์หรือนอนไม่หลับ

พร็อกซ์ห้องสมุดผ่าน API

ห้องสมุดสามารถใช้ในการพร็อกซีผ่าน API แนะนำนี้หากคุณต้องการใช้ไลบรารี แต่ไม่ต้องการจัดการตารางโดยตรง สิ่งนี้มีความเสถียรและน่าจะเร็วกว่าไลบรารีไคลเอนต์โดยตรงสำหรับการผ่าตัดจำนวนมาก แต่ช้าลงสำหรับการแทรกครั้งเดียว (สมมติว่าคุณกำลังโทรจากนอกภูมิภาค AWS)

สิ่งนี้สามารถใช้ได้ก็ต่อเมื่อมีการปรับใช้ API นอกจากนี้ยังหลีกเลี่ยงการพึ่งพา numpy แต่ฉันยังไม่ได้ทำลายแพ็คเกจ

 import time

from whiplash . api . client import Whiplash

query = [ 0.5472 ,...]
whiplash = Whiplash (
    "https://API-ID.execute-api.us-east-2.amazonaws.com/STAGE" ,
    "API_KEY" ,
)

collection = whiplash . get_collection ( "example" )

assert collection is not None

start = time . time ()
results = collection . search ( query )

print ( "Search took" , time . time () - start , "seconds" )
print ( "Results:" , results )

มันทำงานอย่างไร

Whiplash ใช้ Hashing-sensitive locality (LSH) เพื่อจัดทำดัชนีเวกเตอร์ในตาราง DynamoDB สิ่งนี้มีวัตถุประสงค์เพื่อเป็นร้านค้าที่มีเลียนแบบที่ปรับขนาดได้และรวดเร็วซึ่งสร้างขึ้นบนโครงสร้างพื้นฐานการผลิตระดับ AWS

Whiplash แตกต่างจาก LSH แบบดั้งเดิมซึ่งใช้จำนวนบิตที่แตกต่างกันสำหรับแต่ละคีย์แฮช สิ่งนี้จะช่วยให้การปรับแต่งจำนวนถังแบบไดนามิกและอัตโนมัติซึ่งให้ความยืดหยุ่นในการปรับสัดส่วนดัชนีเมื่อเวลาผ่านไป เมื่อถังในปุ่มแฮชที่เล็กที่สุดใกล้เคียงกับขนาดสูงสุดของรายการ DynamoDB จะมีการเพิ่มฟังก์ชั่น/ปุ่มแฮชเลเยอร์ใหม่

ตารางไดนาโม

Whiplash ใช้ตารางไดนาโมหลายตารางเพื่อจัดเก็บเวกเตอร์และถัง:

• PROJECT_STAGE_COLLECTION_vectors - เก็บ { vector_id: binary(vector) }
• PROJECT_STAGE_COLLECTION_buckets - เก็บ { hash: set of vector_ids }
• whiplash_metadata - จัดเก็บข้อมูลเมตาเกี่ยวกับแต่ละคอลเลกชัน { collection_id: { n_features: 256, uniform_planes: {0: [binary]} ...} }

การแฮม

Whiplash ใช้การฉายภาพแบบสุ่มเพื่อแฮชเวกเตอร์ลงในถัง เวกเตอร์จะถูกฉายลงในชุดของระนาบสุ่มและสัญญาณของการฉายจะกำหนดด้านข้างของระนาบที่เวกเตอร์เปิดอยู่ เครื่องบินถูกสร้างขึ้นโดยใช้การกระจายแบบเกาส์เซียนเพื่อให้แน่ใจว่าเวกเตอร์มีการกระจายอย่างสม่ำเสมอ

ปุ่มแฮชถูกสร้างขึ้นโดยการแปลงอาร์เรย์ของผลลัพธ์บูลีนของการฉายแบบสุ่มเป็นสตริงไบนารีจากนั้นแปลงเป็นฐาน 36

การพัฒนา

poetry install
poetry run pytest

ข้อดีและข้อเสีย

Whiplash (และ LSH โดยทั่วไป) เพื่อจุดประสงค์ในการค้นหาอัลกอริทึมเพื่อนบ้านที่ใกล้ที่สุด (ANN) โดยประมาณมีการแลกเปลี่ยนเมื่อเทียบกับร้านค้าเวกเตอร์ปัจจุบัน:

ข้อดี:

• เร็วแม้สำหรับชุดข้อมูลที่มีขนาดใหญ่มาก
• โครงสร้างพื้นฐานที่ง่ายมาก
• Serverless and Scalable (สร้างขึ้นบน DynamoDB และการค้นหา KV ส่วนใหญ่)
• ราคาถูก (25GB ฟรีที่เก็บฟรี ~ 200m คำขอต่อเดือน)
• โฮสต์ตนเองและควบคุมข้อมูลของคุณไม่มีผู้ขายล็อคอิน

จุดด้อย:

• การเรียกคืนที่ต่ำกว่า (แม่นยำน้อยกว่า) กว่าร้านค้าเวกเตอร์ / อัลกอริทึมอื่น ๆ (คุณสามารถแลกเปลี่ยนการเรียกคืนด้วยความเร็วโดยการเพิ่มจำนวนคีย์แฮช / เริ่มต้น _n_planes)
• เป็นที่ต้องการน้อยกว่าสำหรับเวกเตอร์มิติสูง (แต่ฉันพบว่ามันทำงานได้ดี <500 มิติ)
• เนื่องจากเราใช้แลมบ์ดาจึงมีการเริ่มต้นเย็นการคำนวณที่อ่อนแอกว่าและหน่วยความจำที่ จำกัด แต่นี่คือการแลกเปลี่ยนสำหรับค่าใช้จ่ายและความสามารถในการปรับขนาด

ฉันต้องการสร้างสิ่งนี้เพราะฉันรู้สึกหงุดหงิดกับค่าใช้จ่ายสูงของร้านค้าเวกเตอร์ที่มีการจัดการและความซับซ้อนของการโฮสต์ร้านค้าเวกเตอร์โอเพ่นซอร์สอื่น ๆ นอกจากนี้ยังไม่มีวิธีแก้ปัญหาที่ไร้เซิร์ฟเวอร์ที่ดี (แม้ว่า AWS จะผลักดัน "Serverless" Elasticsearch, Ugh) Whiplash นั้นง่ายมากและสร้างขึ้นบนโครงสร้างพื้นฐานพร้อมการผลิตซึ่งจะมีการบำรุงรักษาน้อยมาก

การเปรียบเทียบต้นทุนการจัดเก็บเพียงอย่างเดียวกับ Pinecone:

• Pinecone:

  • 20 ล้านเวกเตอร์ x 768 มิติ
  • 4xS1 POD = $ 0.3840/ชั่วโมง = $ 276.48/เดือน

• Whiplash:

  • (สมมติว่า UUIDS สำหรับ IDS เวกเตอร์, 6 แฮชคีย์ต่อเวกเตอร์)
  • ดัชนีเวกเตอร์: 20 ล้านเวกเตอร์ x 768 มิติ x 4 ไบต์ต่อลอย = 60GB
  • ดัชนีถัง (สมมติว่า UUIDS): 20 ล้านเวกเตอร์ x 16 ไบต์ x 6 ปุ่มแฮช = 1.92GB
  • ฟรี 25GB, 37GB = $ 0.25/gb-month = $ 9.25/เดือน

แผนงาน

ในลำดับที่ไม่เฉพาะเจาะจง:

• เพิ่ม Serverless Lambda Microservice API ด้วยการปรับใช้แบบคลิกเดียว
• เพิ่ม SDK สำหรับ API
• เพิ่มการปรับสเกลแบบไดนามิกของระนาบเครื่องแบบเมื่อถังบิตต่ำกว่าความจุ
• จัดการขีด จำกัด ขนาดไอเท็ม DynamoDB (400KB) - จำเป็นต้องหกไปยังคีย์รองหรือข้ามและคีย์เก็บถาวร
• เพิ่มเครื่องมือ CLI ด้วย API
• เพิ่มการสนับสนุนสำหรับการกรองแอตทริบิวต์
• เพิ่มจุดสิ้นสุดสำหรับการฝังข้อความด้วยโมเดล HuggingFace ขนาดเล็กและแทรกโดยอัตโนมัติ
• การเปรียบเทียบประสิทธิภาพ
• การทดสอบเพิ่มเติม

ใบอนุญาต

หากคุณเป็น Amazon และต้องการใช้สิ่งนี้โปรดติดต่อฉันและจ่ายเงินให้ฉันหลาย ๆ อย่างก่อน มิฉะนั้นจะได้รับใบอนุญาตภายใต้ Apache 2.0