squirrel core

سنجاب جوهر

مشاركة البيانات وتحميلها وتحويلها بطريقة تعاونية ومرنة وفعالة

---

ما هو السنجاب؟

Squirrel هي مكتبة Python تمكن فرق ML من مشاركة البيانات وتحميلها وتحويلها بطريقة تعاونية ومرنة وفعالة.

1. السرعة: تجنب كشك البيانات ، أي لن يكون وحدة معالجة الرسومات باهظة الثمن خاملاً أثناء انتظار البيانات.

2. التكاليف: أولاً ، تجنب توقف GPU ، والثاني السماح بتشغيل وتجميع البيانات الخاصة بك وتخزينها وتحميلها في حزم ، مما يقلل من تكلفة تخزين سحابة دلو البيانات.

3. المرونة: العمل مع مخطط بيانات قياسي مرن قابل للتكيف مع أي إعداد ، بما في ذلك البيانات متعددة الوسائط.

4. التعاون: اجعل من السهل مشاركة البيانات والرمز بين الفرق والمشاريع في نموذج الخدمة الذاتية.

دفق البيانات من أي مكان إلى نموذج تعلم الآلة الخاص بك سهلاً مثل:

 it = (
    Catalog . from_plugins ()[ "imagenet" ]
    . get_driver ()
    . get_iter ( "train" )
    . map ( lambda r : ( augment ( r [ "image" ]), r [ "label" ]))
    . batched ( 100 )
)

تحقق من دفتر ملاحظات البرنامج التعليمي الكامل للبدء. إذا كان لديك أي أسئلة أو ترغب في المساهمة ، انضم إلى مجتمع Slack الخاص بنا.

تثبيت

يمكنك تثبيت squirrel-core بواسطة

pip install squirrel-core

لتثبيت جميع الميزات والوظائف:

pip install " squirrel-core[all] "

أو حدد التبعيات التي تحتاجها:

pip install " squirrel-core[gcs,torch] "

يرجى الرجوع إلى قسم التثبيت في الوثائق للحصول على قائمة كاملة من التبعيات المدعومة.

الوثائق

اقرأ وثائقنا في ReadTheDocs

مجموعات بيانات السنجاب

Squirrel-Datasets-Core هي حزمة Python مصاحبة تقوم بثلاثة أشياء.

1. يمتد منصة السنجاب لتحويل البيانات والوصول إليها والاكتشاف من خلال برامج تشغيل مخصصة لمجموعات البيانات العامة.
2. كما يتيح لك الاستفادة من كميات هائلة من مجموعات البيانات مفتوحة المصدر من Huggingface و Activeloop Hub و TorchVision ، وستحصل على جميع وظائف Squirrel في الأعلى!
3. يوفر دروسًا مفتوحة المصدر والمجتمع ودروس محمولة ومثال على استخدام السنجاب.

المساهمة

السنجاب مفتوح المصدر والمساهمات المجتمعية مرحب بها!

تحقق من دليل المساهمة لتعلم كيفية المشاركة.

البشر وراء السنجاب

نحن Merantix Momentum ، فريق من حوالي 30 مهندسين للتعلم الآلي ، ونطور حلول التعلم الآلي للصناعة والبحث. يأتي كل مشروع مع التحديات الخاصة به وأنواع البيانات والتعلم ، ولكن هناك مشكلة واحدة واجهناها دائمًا كانت تحميل البيانات القابلة للتطوير وتحويلها ومشاركتها. كنا نبحث عن حل يسمح لنا بتحميل البيانات بطريقة سريعة وفعالة من حيث التكلفة ، مع الحفاظ على المرونة للعمل مع أي مجموعة بيانات ممكنة وتكامل مع أي واجهة برمجة تطبيقات. لهذا السبب نبني السنجاب - ونأمل أن تجدها مفيدة كما نفعل! بالمناسبة ، نحن نتعاقد!

اقتباس

إذا كنت تستخدم السنجاب في بحثك ، فيرجى الاستشهاد به باستخدام:

 @article { 2022squirrelcore ,
  title = { Squirrel: A Python library that enables ML teams to share, load, and transform data in a collaborative, flexible, and efficient way. } ,
  author = { Squirrel Developer Team } ,
  journal = { GitHub. Note: https://github.com/merantix-momentum/squirrel-core } ,
  doi = { 10.5281/zenodo.6418280 } ,
  year = { 2022 }
}