ดาวน์โหลด lancedb study - lancedb study ซอร์สโค้ด

lancedb study

ซอร์สโค้ดอื่น ๆ

1.0.0

ดาวน์โหลด

เกณฑ์มาตรฐาน lancedB: ประสิทธิภาพการค้นหาข้อความและเวกเตอร์เต็มรูปแบบ

รหัสสำหรับการศึกษามาตรฐานที่อธิบายไว้ในโพสต์บล็อกนี้

LancedB เป็นฐานข้อมูลเวกเตอร์ที่ฝังอยู่และเป็นมิตรกับนักพัฒนาซอฟต์แวร์ คุณสมบัติที่สำคัญบางอย่างเกี่ยวกับ lancingB ที่ทำให้มีค่าอย่างยิ่งมีการระบุไว้ด้านล่างและอื่น ๆ อีกมากมายที่ระบุไว้ใน repo github ของพวกเขา

น้ำหนักเบาอย่างไม่น่าเชื่อ (ไม่มีเซิร์ฟเวอร์ DB ที่จะจัดการ) เพราะมันทำงานทั้งหมดในกระบวนการกับแอปพลิเคชัน
ปรับขนาดได้มากตั้งแต่การพัฒนาไปจนถึงการผลิต
ความสามารถในการดำเนินการค้นหาข้อความแบบเต็ม (FTS), SQL Search (ผ่าน DataFusion) และ Ann Vector Search
การรองรับข้อมูลหลายรูปแบบ (รูปภาพ, ข้อความ, วิดีโอ, เสียง, จุดคลาวด์ ฯลฯ )
zero-copy (ผ่าน Arrow) พร้อมการกำหนดเวอร์ชันอัตโนมัติของข้อมูลในรูปแบบการจัดเก็บ Lance ดั้งเดิม

จุดมุ่งหมายของ repo นี้คือการแสดงให้เห็นถึงคุณสมบัติการค้นหาข้อความและเวกเตอร์ของ LancedB ผ่านเกณฑ์มาตรฐานแบบ end-to-end ซึ่งเราศึกษาผลการสอบถามและปริมาณงานอย่างรอบคอบ

ชุดข้อมูล

ชุดข้อมูลที่ใช้สำหรับการสาธิตนี้คือชุดข้อมูลรีวิวไวน์จาก Kaggle ซึ่งมีบทวิจารณ์ ~ 130K เกี่ยวกับไวน์พร้อมกับข้อมูลเมตาอื่น ๆ ชุดข้อมูลจะถูกแปลงเป็น zip เก็บถาวรและรหัสสำหรับสิ่งนี้รวมถึงข้อมูล zip มีให้ที่นี่สำหรับการอ้างอิง

การเปรียบเทียบ

การศึกษาประสิทธิภาพของเครื่องมือใด ๆ ในการแยกเป็นสิ่งที่ท้าทายดังนั้นเพื่อการเปรียบเทียบเวิร์กโฟลว์ Elasticsearch มีให้ใน repo นี้ Elasticsearch เป็นเครื่องมือค้นหาข้อความเต็มรูปแบบและเวกเตอร์ที่ใช้ Lucene ซึ่งมีการใช้งานเป็นประจำสำหรับข้อความเต็มรูปแบบ (และวันนี้การค้นหาเวกเตอร์) ดังนั้นจึงทำให้เป็นเครื่องมือที่มีความหมายในการเปรียบเทียบ lancingB กับ

การตั้งค่า

ติดตั้งการพึ่งพาในสภาพแวดล้อมเสมือนจริงผ่าน requirements.txt . txt

 # Setup the environment for the first time
python -m venv .venv  # python -> python 3.11+

# Activate the environment (for subsequent runs)
source .venv/bin/activate

python -m pip install -r requirements.txt

ผลการวัดผล

บันทึก

ตัวเลขด้านล่างนี้มาจาก 2022 m2 macbook pro พร้อม RAM 16GB
พื้นที่การค้นหาประกอบด้วยคำอธิบายการตรวจสอบไวน์ 129,971 คำอธิบายใน LancedB หรือ Elasticsearch
แบบสอบถามจะถูกสุ่มตัวอย่างจากรายการแบบสอบถาม 10 ตัวอย่างสำหรับการค้นหา FTS และเวกเตอร์และเรียกใช้สำหรับแบบสอบถามแบบสุ่ม 10, 100, 1,000 และ 10,000
มิติเวกเตอร์สำหรับการฝังคือ 384 ( BAAI/bge-small-en-v1.5 )
การค้นหาเวกเตอร์ใน Elasticsearch ขึ้นอยู่กับ Lucene-HNSW และใน LancingB ขึ้นอยู่กับ IVF-PQ
ตัวชี้วัดระยะทางสำหรับการค้นหาเวกเตอร์นั้นมีความคล้ายคลึงกันในโคไซน์ในเดซิเบลทั้งสอง
เวลาเรียกใช้รายงาน (และ QP ที่คำนวณ) เป็นค่าเฉลี่ยมากกว่า 3 การวิ่ง

สรุปผลลัพธ์สำหรับการสอบถามแบบสุ่ม 10,000 ครั้ง:

กรณี	Elasticsearch (QPS)	lancingb (qps)
FTS: อนุกรม	399.8	468.9
FTS: พร้อมกัน	ค.ศ. 1539.0	528.9
การค้นหาเวกเตอร์: อนุกรม	11.9	54.0
การค้นหาเวกเตอร์: พร้อมกัน	50.7	71.6

การอภิปราย

ผ่านไคลเอนต์ Python ของพวกเขา LancingB นั้นเร็วกว่า Elasticsearch ในแง่ของ QPS (แบบสอบถามต่อวินาที) สำหรับกรณีการใช้การค้นหาเวกเตอร์และยังเร็วกว่าสำหรับกรณีการใช้การค้นหาแบบเต็มข้อความเมื่อใช้หลายเธรดพร้อมกัน
Elasticsearch เร็วกว่าสำหรับกรณีการใช้ FTS โดย เฉพาะในสถานการณ์ที่เกิดขึ้นพร้อมกันเนื่องจากใช้ไคลเอนต์ Async ที่ไม่ปิดกั้น (ไม่เหมือนกับ LanCedB สำหรับตอนนี้)
ในอนาคตหากไคลเอนต์ Python async (ไม่ปิดกั้น) พร้อมใช้งานสำหรับ lancedB ปริมาณงานสำหรับ lancedB สำหรับ FTS คาดว่าจะสูงขึ้น

เกณฑ์มาตรฐานอนุกรม

เกณฑ์มาตรฐานอนุกรมที่แสดงด้านล่างเกี่ยวข้องกับการสืบค้นตามลำดับในการซิงค์สำหรับลูปใน Python นี่ไม่ใช่ตัวแทนของกรณีการใช้งานจริงในการผลิต แต่มีประโยชน์ในการทำความเข้าใจประสิทธิภาพของเครื่องมือค้นหาพื้นฐานในแต่ละกรณี (Lucene for Elasticsearch และ Tantivy สำหรับ LancingB)

รายละเอียดเพิ่มเติมเกี่ยวกับเรื่องนี้จะถูกกล่าวถึงในโพสต์บล็อก

การค้นหาข้อความแบบเต็ม (FTS)

การสอบถาม	Elasticsearch (SEC)	Elasticsearch (QPS)	lancedb (วินาที)	lancingb (qps)
10	0.0516	193.8	0.0518	193.0
100	0.2589	386.3	0.2383	419.7
1,000	2.5748	388.6	2.1759	459.3
10,000	25.0318	399.8	21.3196	468.9

การค้นหาเวกเตอร์

การสอบถาม	Elasticsearch (SEC)	Elasticsearch (QPS)	lancedb (วินาที)	lancingb (qps)
10	0.8087	12.4	0.2158	46.3
100	7.6020	13.1	1.6803	59.5
1,000	84.0086	11.9	16.7948	59.5
10,000	842.9494	11.9	185.0582	54.0

เกณฑ์มาตรฐานพร้อมกัน

เกณฑ์มาตรฐานที่เกิดขึ้นพร้อมกันได้รับการออกแบบมาเพื่อทำซ้ำกรณีการใช้งานจริงสำหรับ LancedB หรือ Elasticsearch - ที่มีการสืบค้นหลายครั้งในเวลาเดียวกันและส่วนที่เหลือ API ที่ด้านบนของ DB ต้องจัดการคำขอแบบอะซิงโครนัส

บันทึก

การเกิดขึ้นพร้อมกันใน Elasticsearch ทำได้ผ่านไคลเอนต์ Async
การเกิดขึ้นพร้อมกันใน LancedB นั้นทำได้ผ่านไลบรารี multiprocessing ของ Python ในเธรด 4 คน (จำนวนเธรดที่สูงขึ้นส่งผลให้ประสิทธิภาพช้าลง)