squirrel core

แกนกระรอก

แบ่งปันโหลดและแปลงข้อมูลในวิธีการทำงานร่วมกันยืดหยุ่นและมีประสิทธิภาพ

---

กระรอกคืออะไร?

Squirrel เป็นห้องสมุด Python ที่ช่วยให้ทีม ML สามารถแบ่งปันโหลดและแปลงข้อมูลในวิธีการทำงานร่วมกันยืดหยุ่นและมีประสิทธิภาพ

1. ความเร็ว: หลีกเลี่ยงแผงขายข้อมูลเช่น GPU ที่มีราคาแพงจะไม่ว่างขณะรอข้อมูล

2. ค่าใช้จ่าย: ก่อนอื่นให้หลีกเลี่ยงการหยุดยั้ง GPU และที่สองอนุญาตให้ Shard & Cluster ข้อมูลของคุณและจัดเก็บและโหลดในชุดรวมลดค่าใช้จ่ายสำหรับที่เก็บข้อมูลคลาวด์ข้อมูลของคุณ

3. ความยืดหยุ่น: ทำงานกับรูปแบบข้อมูลมาตรฐานที่ยืดหยุ่นซึ่งสามารถปรับให้เข้ากับการตั้งค่าใด ๆ รวมถึงข้อมูลหลายรูปแบบ

4. การทำงานร่วมกัน: ทำให้ง่ายต่อการแบ่งปันข้อมูลและรหัสระหว่างทีมและโครงการในรูปแบบการบริการตนเอง

สตรีมข้อมูลจากทุกที่ไปยังรูปแบบการเรียนรู้ของเครื่องของคุณได้ง่ายเท่า:

 it = (
    Catalog . from_plugins ()[ "imagenet" ]
    . get_driver ()
    . get_iter ( "train" )
    . map ( lambda r : ( augment ( r [ "image" ]), r [ "label" ]))
    . batched ( 100 )
)

ตรวจสอบสมุดบันทึกการสอนการเริ่มต้นใช้งานเต็มรูปแบบของเรา หากคุณมีคำถามใด ๆ หรือต้องการมีส่วนร่วมเข้าร่วมชุมชน Slack ของเรา

การติดตั้ง

คุณสามารถติดตั้ง squirrel-core ได้โดย

pip install squirrel-core

ในการติดตั้งคุณสมบัติและฟังก์ชันทั้งหมด:

pip install " squirrel-core[all] "

หรือเลือกการพึ่งพาที่คุณต้องการ:

pip install " squirrel-core[gcs,torch] "

โปรดดูส่วนการติดตั้งของเอกสารสำหรับรายการที่สมบูรณ์ของการพึ่งพาที่รองรับ

เอกสาร

อ่านเอกสารของเราที่ ReadtheDocs

ชุดข้อมูลกระรอก

Squirrel-Datasets-Core เป็นแพ็คเกจ Python ประกอบที่ทำสามสิ่ง

1. มันขยายแพลตฟอร์มกระรอกสำหรับการแปลงข้อมูลการเข้าถึงและการค้นพบผ่านไดรเวอร์ที่กำหนดเองสำหรับชุดข้อมูลสาธารณะ
2. นอกจากนี้ยังช่วยให้คุณสามารถเข้าถึงชุดข้อมูลโอเพนซอร์ซจำนวนมหาศาลจาก HuggingFace, Activeloop Hub และ Torchvision และคุณจะได้รับฟังก์ชั่นทั้งหมดของ Squirrel ด้านบน!
3. มันมีบทช่วยสอนโอเพนซอร์ซและชุมชนที่มีส่วนร่วมและสมุดบันทึกตัวอย่างสำหรับการใช้กระรอก

การบริจาค

กระรอกเป็นโอเพนซอร์สและการบริจาคชุมชนยินดีต้อนรับ!

ตรวจสอบคู่มือการบริจาคเพื่อเรียนรู้วิธีการมีส่วนร่วม

มนุษย์ที่อยู่เบื้องหลังกระรอก

เราคือ Merantix Momentum, ทีมวิศวกรการเรียนรู้ของเครื่อง ~ 30, การพัฒนาโซลูชั่นการเรียนรู้ของเครื่องสำหรับอุตสาหกรรมและการวิจัย แต่ละโครงการมาพร้อมกับความท้าทายประเภทข้อมูลและการเรียนรู้ของตัวเอง แต่ปัญหาหนึ่งที่เราเผชิญอยู่เสมอคือการโหลดข้อมูลที่ปรับขนาดได้การแปลงและการแบ่งปัน เรากำลังมองหาวิธีแก้ปัญหาที่จะช่วยให้เราสามารถโหลดข้อมูลในวิธีที่รวดเร็วและประหยัดค่าใช้จ่ายในขณะที่รักษาความยืดหยุ่นในการทำงานกับชุดข้อมูลที่เป็นไปได้และรวมกับ API ใด ๆ นั่นเป็นเหตุผลที่เราสร้างกระรอก - และเราหวังว่าคุณจะพบว่ามันมีประโยชน์เช่นเดียวกับที่เราทำ! โดยวิธีการที่เรากำลังจ้าง!

การอ้างอิง

หากคุณใช้กระรอกในการวิจัยของคุณโปรดอ้างอิงโดยใช้:

 @article { 2022squirrelcore ,
  title = { Squirrel: A Python library that enables ML teams to share, load, and transform data in a collaborative, flexible, and efficient way. } ,
  author = { Squirrel Developer Team } ,
  journal = { GitHub. Note: https://github.com/merantix-momentum/squirrel-core } ,
  doi = { 10.5281/zenodo.6418280 } ,
  year = { 2022 }
}