deeplake

Deep Lake: ฐานข้อมูลสำหรับ AI

เอกสาร • เริ่มต้น • การอ้างอิง API • หลักสูตร Langchain & Vectordbs • บล็อก • กระดาษขาว • Slack • Twitter

ทะเลสาบลึกคืออะไร?

Deep Lake เป็นฐานข้อมูลสำหรับ AI ที่ขับเคลื่อนโดยรูปแบบการจัดเก็บที่เหมาะสำหรับแอปพลิเคชันการเรียนรู้ลึก ทะเลสาบลึกสามารถใช้สำหรับ:

1. การจัดเก็บและค้นหาข้อมูลรวมถึงเวกเตอร์ในขณะที่สร้างแอปพลิเคชัน LLM
2. การจัดการชุดข้อมูลในขณะที่ฝึกอบรมแบบจำลองการเรียนรู้อย่างลึกซึ้ง

Deep Lake ช่วยลดความซับซ้อนของการปรับใช้ผลิตภัณฑ์ที่ใช้ LLM ระดับองค์กรโดยเสนอที่เก็บข้อมูลสำหรับทุกประเภทข้อมูล (Embeddings, เสียง, ข้อความ, วิดีโอ, รูปภาพ, dicom, PDF, คำอธิบายประกอบและอื่น ๆ ) การสืบค้นและการค้นหาเวกเตอร์ โมเดลในระดับการกำหนดเวอร์ชันข้อมูลและเชื้อสายและการรวมเข้ากับเครื่องมือยอดนิยมเช่น Langchain, LlamaineDex, น้ำหนักและอคติและอื่น ๆ อีกมากมาย Deep Lake ทำงานร่วมกับข้อมูลทุกขนาดมันไม่มีเซิร์ฟเวอร์และช่วยให้คุณสามารถเก็บข้อมูลทั้งหมดของคุณไว้ในคลาวด์ของคุณเองและในที่เดียว Deep Lake ถูกใช้โดย Intel, Bayer Radiology, Matterport, Zero Systems, Red Cross, Yale, & Oxford

Deep Lake มีคุณสมบัติดังต่อไปนี้:

การสนับสนุนหลายคลาวด์ (S3, GCP, Azure)

ใช้ API หนึ่งตัวเพื่ออัปโหลดดาวน์โหลดและสตรีมชุดข้อมูลไปที่/จาก S3, Azure, GCP, Activeloop Cloud, ที่เก็บข้อมูลท้องถิ่นหรือที่เก็บข้อมูลในหน่วยความจำ เข้ากันได้กับที่เก็บข้อมูลที่เข้ากันได้กับ S3 เช่น MINIO

การบีบอัดพื้นเมืองด้วยการจัดทำดัชนีเหมือน Numpy Lazy

จัดเก็บรูปภาพเสียงและวิดีโอในการบีบอัดดั้งเดิม ชิ้น, ดัชนี, วนซ้ำและโต้ตอบกับข้อมูลของคุณเช่นคอลเลกชันของอาร์เรย์ numpy ในหน่วยความจำของระบบของคุณ Deep Lake โหลดข้อมูลอย่างเกียจคร้านเฉพาะเมื่อจำเป็นเช่นเมื่อฝึกอบรมแบบจำลองหรือใช้การสืบค้น

Dataloaders สำหรับกรอบการเรียนรู้ลึกที่เป็นที่นิยม

Deep Lake มาพร้อมกับ Dataloaders ในตัวสำหรับ Pytorch และ Tensorflow ฝึกอบรมโมเดลของคุณด้วยรหัสสองสามบรรทัด - เรายังดูแลการสับเปลี่ยนชุดข้อมูล -

การรวมเข้ากับเครื่องมือที่ทรงพลัง

Deep Lake มีการบูรณาการกับ Langchain และ Llamaidex เป็นร้านค้าเวกเตอร์สำหรับแอพ LLM น้ำหนักและอคติสำหรับสายเลือดข้อมูลในระหว่างการฝึกอบรมแบบจำลองการตรวจจับ MMDetection สำหรับการฝึกอบรมแบบจำลองการตรวจจับวัตถุ

ชุดข้อมูลภาพวิดีโอและเสียงที่ได้รับความนิยมมากที่สุด 100 รายการมีให้ในไม่กี่วินาที

ชุมชน Deep Lake ได้อัปโหลดชุดข้อมูลวิดีโอและเสียงกว่า 100 รายการเช่น MNIST, Coco, Imagenet, Cifar, GTZAN และอื่น ๆ

รองรับการสร้างภาพข้อมูลทันทีในแอพ Deep Lake

ชุดข้อมูล Deep Lake จะถูกมองเห็นได้ทันทีด้วยกล่องล้อมรอบหน้ากากคำอธิบายประกอบ ฯลฯ ใน Deep Lake Visualizer (ดูด้านล่าง)

วิธีการติดตั้ง Deep Lake

สามารถติดตั้ง Deep Lake ได้โดยใช้ PIP:

pip install deeplake

หากต้องการเข้าถึงคุณสมบัติทั้งหมดของ Deep Lake โปรดลงทะเบียนในแอพ Deep Lake

- ตัวอย่างรหัสทะเลสาบลึกโดยแอปพลิเคชัน

แอปพลิเคชัน vector store

การใช้ Deep Lake เป็นร้านค้าเวกเตอร์สำหรับการสร้างแอปพลิเคชัน LLM:

- vector store quickstart

- การสอน Vector Store

- การรวม Langchain

- การรวม Llamaidex

- การค้นหาความคล้ายคลึงกันของภาพด้วยทะเลสาบลึก

แอพพลิเคชั่นการเรียนรู้อย่างลึกซึ้ง

ใช้ Deep Lake สำหรับการจัดการข้อมูลในขณะที่ฝึกอบรมแบบจำลองการเรียนรู้ลึก:

- การเรียนรู้อย่างลึกซึ้งอย่างรวดเร็ว

- แบบฝึกหัดสำหรับรูปแบบการฝึกอบรม

การรวมกัน

Deep Lake นำเสนอการบูรณาการกับเครื่องมืออื่น ๆ เพื่อปรับปรุงเวิร์กโฟลว์การเรียนรู้ลึกของคุณ การรวมปัจจุบันรวมถึง:

• แอพ LLM
  • ใช้ Deep Lake เป็นร้านค้าเวกเตอร์สำหรับแอพ LLM การรวมของเรารวม Langchain Vectorstores API เข้ากับชุดข้อมูล Deep Lake เป็นที่เก็บข้อมูลพื้นฐาน การรวมเป็นร้านค้าเวกเตอร์ที่ไม่มีเซิร์ฟเวอร์ที่สามารถปรับใช้ในเครื่องหรือในคลาวด์ที่คุณเลือก

เอกสาร

การเริ่มต้นคำแนะนำตัวอย่างการสอนการอ้างอิง API และข้อมูลที่เป็นประโยชน์อื่น ๆ สามารถพบได้ในหน้าเอกสารของเรา

- สำหรับนักเรียนและนักการศึกษา

ผู้ใช้ Deep Lake สามารถเข้าถึงและแสดงภาพชุดข้อมูลยอดนิยมที่หลากหลายผ่านการรวมเข้ากับแอพของ Deep Lake ฟรี มหาวิทยาลัยสามารถรับการจัดเก็บข้อมูลได้สูงสุด 1TB และการสืบค้น 100,000 ต่อเดือนบนฐานข้อมูลเทนเซอร์ฟรีต่อเดือน แชทในเว็บไซต์ของเรา: เพื่อรับสิทธิ์การเข้าถึง!

? ‍ เปรียบเทียบกับเครื่องมือที่คุ้นเคย

Deep Lake vs chroma

ทั้ง Deep Lake & Chromadb ช่วยให้ผู้ใช้สามารถจัดเก็บและค้นหาเวกเตอร์ (Embeddings) และเสนอการรวมเข้ากับ Langchain และ Llamaidex อย่างไรก็ตามพวกเขามีความแตกต่างทางสถาปัตยกรรมมาก Chromadb เป็นฐานข้อมูลเวกเตอร์ที่สามารถปรับใช้ในเครื่องหรือบนเซิร์ฟเวอร์โดยใช้ Docker และจะนำเสนอโซลูชันที่โฮสต์ในไม่ช้า Deep Lake เป็นร้านค้าเวกเตอร์ที่ไม่มีเซิร์ฟเวอร์ที่ปรับใช้บนคลาวด์ของผู้ใช้ในพื้นที่หรือในหน่วยความจำ การคำนวณทั้งหมดเรียกใช้ฝั่งไคลเอ็นต์ซึ่งช่วยให้ผู้ใช้สามารถรองรับแอพการผลิตที่มีน้ำหนักเบาในไม่กี่วินาที ซึ่งแตกต่างจาก Chromadb รูปแบบข้อมูลของ Deep Lake สามารถจัดเก็บข้อมูลดิบเช่นรูปภาพวิดีโอและข้อความนอกเหนือจากการฝังตัว Chromadb ถูก จำกัด เมตาดาต้าเบาที่ด้านบนของการฝังตัวและไม่มีการสร้างภาพข้อมูล ชุดข้อมูล Deep Lake สามารถมองเห็นได้และควบคุมเวอร์ชัน Deep Lake ยังมี Dataloader นักแสดงสำหรับการปรับแต่งรุ่นภาษาขนาดใหญ่ของคุณ

Deep Lake vs Pinecone

ทั้ง Deep Lake และ Pinecone ช่วยให้ผู้ใช้สามารถจัดเก็บและค้นหาเวกเตอร์ (Embeddings) และเสนอการรวมเข้ากับ Langchain และ Llamaindex อย่างไรก็ตามพวกเขามีความแตกต่างทางสถาปัตยกรรมมาก Pinecone เป็นฐานข้อมูลเวกเตอร์ที่ได้รับการจัดการอย่างสมบูรณ์ซึ่งได้รับการปรับให้เหมาะสมสำหรับแอปพลิเคชันที่ต้องการสูงซึ่งต้องการการค้นหาเวกเตอร์พันล้าน Deep Lake ไม่มีเซิร์ฟเวอร์ การคำนวณทั้งหมดเรียกใช้ฝั่งไคลเอ็นต์ซึ่งช่วยให้ผู้ใช้สามารถเริ่มต้นได้ในไม่กี่วินาที ซึ่งแตกต่างจาก Pinecone รูปแบบข้อมูลของ Deep Lake สามารถจัดเก็บข้อมูลดิบเช่นรูปภาพวิดีโอและข้อความนอกเหนือจากการฝังตัว ชุดข้อมูล Deep Lake สามารถมองเห็นได้และควบคุมเวอร์ชัน Pinecone จำกัด เมตาดาต้าแสงที่ด้านบนของการฝังตัวและไม่มีการสร้างภาพข้อมูล Deep Lake ยังมี Dataloader นักแสดงสำหรับการปรับแต่งรุ่นภาษาขนาดใหญ่ของคุณ

ทะเลสาบลึกกับทอผ้า

ทั้ง Deep Lake และ Weaviate ช่วยให้ผู้ใช้สามารถจัดเก็บและค้นหาเวกเตอร์ (Embeddings) และเสนอการรวมเข้ากับ Langchain และ Llamaindex อย่างไรก็ตามพวกเขามีความแตกต่างทางสถาปัตยกรรมมาก Weaviate เป็นฐานข้อมูลเวกเตอร์ที่สามารถปรับใช้ในบริการที่มีการจัดการหรือโดยผู้ใช้ผ่าน Kubernetes หรือ Docker Deep Lake ไม่มีเซิร์ฟเวอร์ การคำนวณทั้งหมดเรียกใช้ฝั่งไคลเอ็นต์ซึ่งช่วยให้ผู้ใช้สามารถรองรับแอพการผลิตที่มีน้ำหนักเบาในไม่กี่วินาที ซึ่งแตกต่างจาก Weaviate รูปแบบข้อมูลของ Deep Lake สามารถจัดเก็บข้อมูลดิบเช่นรูปภาพวิดีโอและข้อความนอกเหนือจากการฝังตัว ชุดข้อมูล Deep Lake สามารถมองเห็นได้และควบคุมเวอร์ชัน Weaviate ถูก จำกัด ให้เมตาดาต้าเบาที่ด้านบนของการฝังตัวและไม่มีการสร้างภาพข้อมูล Deep Lake ยังมี Dataloader นักแสดงสำหรับการปรับแต่งรุ่นภาษาขนาดใหญ่ของคุณ

Deep Lake vs DVC

Deep Lake และ DVC เสนอชุดข้อมูลชุดข้อมูลคล้ายกับ GIT สำหรับข้อมูล แต่วิธีการจัดเก็บข้อมูลแตกต่างกันอย่างมีนัยสำคัญ Deep Lake แปลงและเก็บข้อมูลเป็นอาร์เรย์บีบอัดแบบก้อนซึ่งช่วยให้การสตรีมอย่างรวดเร็วไปยังรุ่น ML ในขณะที่ DVC ทำงานบนข้อมูลที่เก็บไว้ในโครงสร้างไฟล์แบบดั้งเดิมที่มีประสิทธิภาพน้อยกว่า รูปแบบ Deep Lake ทำให้การกำหนดเวอร์ชันชุดข้อมูลง่ายขึ้นอย่างมากเมื่อเทียบกับโครงสร้างไฟล์แบบดั้งเดิมโดย DVC เมื่อชุดข้อมูลประกอบด้วยไฟล์จำนวนมาก (เช่นรูปภาพจำนวนมาก) ความแตกต่างเพิ่มเติมคือ DVC ใช้อินเทอร์เฟซบรรทัดคำสั่งเป็นหลักในขณะที่ Deep Lake เป็นแพ็คเกจ Python สุดท้าย Deep Lake นำเสนอ API เพื่อเชื่อมต่อชุดข้อมูลกับเฟรมเวิร์ก ML และเครื่องมือ ML ทั่วไปอื่น ๆ ได้อย่างง่ายดายและเปิดใช้งานการสร้างภาพชุดข้อมูลทันทีผ่านเครื่องมือสร้างภาพของ ActivEloop

Deep Lake vs mosaicml mds รูปแบบ

• รูปแบบการจัดเก็บข้อมูล: Deep Lake ทำงานในรูปแบบการจัดเก็บคอลัมน์ในขณะที่ MDS ใช้วิธีการจัดเก็บข้อมูลแถวที่ชาญฉลาด สิ่งนี้ส่งผลกระทบต่อวิธีการอ่านข้อมูลเขียนและจัดระเบียบในแต่ละระบบ
• การบีบอัด: Deep Lake เสนอรูปแบบการบีบอัดที่ยืดหยุ่นมากขึ้นช่วยให้สามารถควบคุมการบีบอัดทั้งระดับและระดับตัวอย่างสำหรับแต่ละคอลัมน์หรือเทนเซอร์ คุณลักษณะนี้ไม่จำเป็นต้องมีการบีบอัดเพิ่มเติมเช่น ZSTD ซึ่งอาจต้องการวัฏจักร CPU มากขึ้นสำหรับการบีบอัดที่ด้านบนของรูปแบบเช่น JPEG
• Shuffling: ปัจจุบัน MDS เสนอกลยุทธ์การสับขั้นสูงมากขึ้น
• การสนับสนุนการควบคุมและการสร้างภาพข้อมูล: คุณลักษณะที่โดดเด่นของ Deep Lake คือการควบคุมเวอร์ชันดั้งเดิมและการสร้างภาพข้อมูลในเบราว์เซอร์ซึ่งเป็นคุณสมบัติที่ไม่มีอยู่สำหรับรูปแบบข้อมูล MOSAICML สิ่งนี้สามารถให้ข้อได้เปรียบที่สำคัญในการจัดการความเข้าใจและการติดตามข้อมูลเวอร์ชันที่แตกต่างกัน

ชุดข้อมูล Deep Lake vs Tensorflow (TFDs)

Deep Lake และ TFDs เชื่อมต่อชุดข้อมูลยอดนิยมกับเฟรมเวิร์ก ML ได้อย่างราบรื่น ชุดข้อมูล Deep Lake เข้ากันได้กับทั้ง pytorch และ tensorflow ในขณะที่ TFDs เข้ากันได้กับ tensorflow เท่านั้น ความแตกต่างที่สำคัญระหว่าง Deep Lake และ TFD คือชุดข้อมูล Deep Lake ได้รับการออกแบบมาสำหรับการสตรีมจากคลาวด์ในขณะที่ TFD จะต้องดาวน์โหลดในเครื่องก่อนใช้งาน ด้วยเหตุนี้ด้วยทะเลสาบลึกหนึ่งสามารถนำเข้าชุดข้อมูลโดยตรงจากชุดข้อมูล TensorFlow และสตรีมไปยัง Pytorch หรือ Tensorflow นอกเหนือจากการให้การเข้าถึงชุดข้อมูลที่เป็นที่นิยมในที่สาธารณะ Deep Lake ยังมีเครื่องมือที่ทรงพลังสำหรับการสร้างชุดข้อมูลที่กำหนดเองจัดเก็บไว้ในผู้ให้บริการจัดเก็บข้อมูลคลาวด์ที่หลากหลายและร่วมมือกับผู้อื่นผ่าน Simple API TFDs มุ่งเน้นไปที่การให้สาธารณะเข้าถึงชุดข้อมูลที่มีอยู่ทั่วไปได้ง่ายและการจัดการชุดข้อมูลที่กำหนดเองไม่ใช่จุดสนใจหลัก บทความเปรียบเทียบเต็มสามารถพบได้ที่นี่

Deep Lake vs Huggingface

Deep Lake และ HuggingFace ให้การเข้าถึงชุดข้อมูลยอดนิยม แต่ Deep Lake มุ่งเน้นไปที่การมองเห็นคอมพิวเตอร์เป็นหลักในขณะที่ HuggingFace มุ่งเน้นไปที่การประมวลผลภาษาธรรมชาติ HuggingFace Transforms และเครื่องมือคำนวณอื่น ๆ สำหรับ NLP นั้นไม่คล้ายกับคุณสมบัติที่นำเสนอโดย Deep Lake

Deep Lake vs WebDatasets

Deep Lake และ WebDatasets ทั้งคู่มีการสตรีมข้อมูลอย่างรวดเร็วผ่านเครือข่าย พวกเขามีความเร็วในการนึ่งเกือบเหมือนกันเนื่องจากคำขอเครือข่ายพื้นฐานและโครงสร้างข้อมูลมีความคล้ายคลึงกันมาก อย่างไรก็ตาม Deep Lake นำเสนอการเข้าถึงแบบสุ่มและการสับที่เหนือกว่า API ที่เรียบง่ายอยู่ใน Python แทนที่จะเป็นบรรทัดคำสั่งและ Deep Lake ช่วยให้การจัดทำดัชนีและการปรับเปลี่ยนชุดข้อมูลอย่างง่ายโดยไม่ต้องสร้างใหม่

Deep Lake vs Zarr

Deep Lake และ Zarr ทั้งคู่มีการจัดเก็บข้อมูลเป็นอาร์เรย์ที่มี อย่างไรก็ตาม Deep Lake ได้รับการออกแบบมาเป็นหลักสำหรับการส่งคืนข้อมูลเป็นอาร์เรย์โดยใช้ API แบบง่ายแทนที่จะเก็บอาร์เรย์ดิบ (แม้ว่าจะเป็นไปได้) Deep Lake เก็บข้อมูลในรูปแบบการใช้งานที่เหมาะสมเช่น JPEG หรือ PNG สำหรับรูปภาพหรือ MP4 สำหรับวิดีโอและผู้ใช้ปฏิบัติต่อข้อมูลราวกับว่ามันเป็นอาร์เรย์เพราะ Deep Lake จัดการการประมวลผลข้อมูลทั้งหมดในระหว่างนั้น Deep Lake มีความยืดหยุ่นมากขึ้นในการจัดเก็บอาร์เรย์ด้วยรูปร่างแบบไดนามิก (เทนเซอร์ที่ขรุขระ) และมีคุณสมบัติหลายอย่างที่ไม่สามารถใช้งานได้ใน ZARR เช่นการควบคุมเวอร์ชันการสตรีมข้อมูลและการเชื่อมต่อข้อมูลกับเฟรมเวิร์ก ML

ชุมชน

เข้าร่วม ชุมชน Slack ของเราเพื่อเรียนรู้เพิ่มเติมเกี่ยวกับการจัดการชุดข้อมูลที่ไม่มีโครงสร้างโดยใช้ Deep Lake และรับความช่วยเหลือจากทีม ActivEloop และผู้ใช้รายอื่น

เราชอบความคิดเห็นของคุณโดยทำ แบบสำรวจ 3 นาที

เช่นเคยขอบคุณผู้มีส่วนร่วมที่น่าทึ่งของเรา!

ทำกับผู้มีส่วนร่วม-IMG

โปรดอ่านการสนับสนุน. md เพื่อเริ่มต้นกับการบริจาคให้กับ Deep Lake

ตรา Readme

ใช้ทะเลสาบลึก? เพิ่มตรา readme เพื่อแจ้งให้ทุกคนทราบ:

 [ ![ deeplake ] ( https://img.shields.io/badge/powered%20by-Deep%20Lake%20-ff5a1f.svg )] ( https://github.com/activeloopai/deeplake ) 

คำเตือน

ใบอนุญาตชุดข้อมูล

ผู้ใช้ Deep Lake อาจเข้าถึงชุดข้อมูลที่เปิดเผยต่อสาธารณะได้หลากหลาย เราไม่ได้โฮสต์หรือแจกจ่ายชุดข้อมูลเหล่านี้บัตรกำนัลคุณภาพหรือความยุติธรรมของพวกเขาหรืออ้างว่าคุณมีใบอนุญาตในการใช้ชุดข้อมูล เป็นความรับผิดชอบของคุณในการพิจารณาว่าคุณได้รับอนุญาตให้ใช้ชุดข้อมูลภายใต้ใบอนุญาตของพวกเขาหรือไม่

หากคุณเป็นเจ้าของชุดข้อมูลและไม่ต้องการให้ชุดข้อมูลของคุณรวมอยู่ในห้องสมุดนี้โปรดติดต่อผ่านปัญหา GitHub ขอบคุณสำหรับการบริจาคให้กับชุมชน ML!

การติดตามการใช้งาน

โดยค่าเริ่มต้นเรารวบรวมข้อมูลการใช้งานโดยใช้ Bugout (นี่คือรหัสที่ทำ) มันไม่ได้รวบรวมข้อมูลผู้ใช้นอกเหนือจากข้อมูลที่อยู่ IP ที่ไม่ระบุชื่อและจะบันทึกการกระทำของ Deep Lake Library เท่านั้น สิ่งนี้ช่วยให้ทีมของเราเข้าใจวิธีการใช้เครื่องมือและวิธีการสร้างคุณสมบัติที่สำคัญสำหรับคุณ! หลังจากที่คุณลงทะเบียนกับ ActivEloop ข้อมูลจะไม่ระบุชื่ออีกต่อไป คุณสามารถยกเลิกการรายงานได้ตลอดเวลาโดยการตั้งค่าตัวแปรสภาพแวดล้อม BUGGER_OFF เป็น True :

การอ้างอิง

หากคุณใช้ Deep Lake ในการวิจัยของคุณโปรดอ้างอิง Activeloop โดยใช้:

 @ article {deeplake,
  title = {Deep Lake: a Lakehouse for Deep Learning},
  author = {Hambardzumyan, Sasun and Tuli, Abhinav and Ghukasyan, Levon and Rahman, Fariz and Topchyan, Hrant and Isayan, David and Harutyunyan, Mikayel and Hakobyan, Tatevik and Stranic, Ivo and Buniatyan, Davit},
  url = { https://www.cidrdb.org/cidr2023/papers/p69-buniatyan.pdf} ,
  booktitle={Proceedings of CIDR},
  year = {2023},
}

การรับทราบ

เทคโนโลยีนี้ได้รับแรงบันดาลใจจากงานวิจัยของเราที่ Princeton University เราขอขอบคุณ William Silversmith @seunglab สำหรับเครื่องมือปริมาณคลาวด์ที่ยอดเยี่ยมของเขา