torchrec

Torchrec

Torchrec هي مكتبة مجال Pytorch مصممة لتوفير مبالغ زائدة ومتوازية شائعة مطلوبة لأنظمة التوصية على نطاق واسع (RECSYS). يسمح Torchrec بتدريب النماذج والاستدلال على طاولات التضمين الكبيرة التي تم تقطيعها عبر العديد من وحدات معالجة الرسومات والسلطات التي يتمتع بها العديد من نماذج الإنتاج في META .

التواجد الخارجي

تم استخدام Torchrec لتسريع التقدم في أنظمة التوصية ، وبعض الأمثلة:

• تم تصميم أحدث إصدار من Meta's DLRM (نموذج توصية التعلم العميق) باستخدام Torchrec
• تقنية النمذجة المتعددة المتجددة: تقنية النمذجة الوعرة لورقة توصية واسعة النطاق فعالة
• الخوارزمية ML من Twitter
• نماذج توصية التدريب مع Databricks
• نحو طراز 100 تيرابايت مع تضمين ورقة تفريغ

مقدمة

لبدء التعرف على Torchrec ، تحقق من:

• البرنامج التعليمي الكامل Torchrec
• وثائق Torchrec لمحة عامة عن مراجع Torchrec و API

ميزات Torchrec

• Primalism Primitives التي تمكن من تأليف سهولة من نماذج كبيرة متعددة الجهاز/متعددة العقدة باستخدام التوازي مع البيانات الهجينة/النموذج.
• Sharders to shard tables tables مع استراتيجيات مختلفة بما في ذلك البيانات المتوازية والموازنة بين البيانات والتجديد والصف ، والتجمع في الصف ، والعمود الحكيمة ، والعمود الحكيمة.
• مخطط يمكنه تلقائيًا إنشاء خطط تقويم محسنة للنماذج.
• تدريب أنابيب متداخلة من نقل جهاز dataloading (نسخ إلى GPU) ، والاتصالات بين الأجهزة (input_dist) ، والحساب (إلى الأمام ، للخلف) لزيادة الأداء.
• نواة محسّنة لـ Recsys مدعوم من FBGEMM.
• دعم الكمي لخفض التدريب الدقيق والاستدلال ، إلى جانب تحسين نموذج Torchrec لاستدلال C ++.
• الوحدات النمطية المشتركة ل recsys.
• recsys مجموعات البيانات (Criteo انقر فوق سجلات و Movielens)
• أمثلة على التدريب الشامل مثل نموذج DLRM للتنبؤ بالحدث المدرب على مجموعة بيانات سجلات Criteo.

تثبيت

تحقق من قسم البدء في الوثائق للطرق الموصى بها لإعداد Torchrec.

من المصدر

بشكل عام ، لا توجد حاجة للبناء من المصدر . بالنسبة لمعظم حالات الاستخدام ، اتبع القسم أعلاه لإعداد Torchrec. ومع ذلك ، للبناء من المصدر والحصول على أحدث التغييرات ، قم بما يلي:

1. تثبيت Pytorch. انظر وثائق Pytorch.

    CUDA 12.4
   
   pip install torch --index-url https://download.pytorch.org/whl/nightly/cu124
   
   CUDA 12.1
   
   pip install torch --index-url https://download.pytorch.org/whl/nightly/cu121
   
   CUDA 11.8
   
   pip install torch --index-url https://download.pytorch.org/whl/nightly/cu118
   
   CPU
   
   pip install torch --index-url https://download.pytorch.org/whl/nightly/cpu
   

2. استنساخ Torchrec.

    git clone --recursive https://github.com/pytorch/torchrec
   cd torchrec
   

3. تثبيت FBGEMM.

    CUDA 12.4
   
   pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cu124
   
   CUDA 12.1
   
   pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cu121
   
   CUDA 11.8
   
   pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cu118
   
   CPU
   
   pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cpu
   

4. تثبيت المتطلبات الأخرى.

    pip install -r requirements.txt
   

5. تثبيت Torchrec.

    python setup.py install develop
   

6. اختبر التثبيت (استخدم Torchx-Nightly لـ 3.11 ؛ مقابل 3.12 ، لا يعمل Torchx حاليًا).

    GPU mode
   
   torchx run -s local_cwd dist.ddp -j 1x2 --gpu 2 --script test_installation.py
   
   CPU Mode
   
   torchx run -s local_cwd dist.ddp -j 1x2 --script test_installation.py -- --cpu_only
   

   انظر Torchx لمزيد من المعلومات حول إطلاق وظائف موزعة وبعيدة.

7. إذا كنت ترغب في تشغيل مثال أكثر تعقيدًا ، فيرجى إلقاء نظرة على مثال Torchrec DLRM.

المساهمة

انظر المساهمة. md للحصول على تفاصيل حول المساهمة في Torchrec!

اقتباس

إذا كنت تستخدم Torchrec ، فيرجى الرجوع إلى إدخال Bibtex للاستشهاد بهذا العمل:

 @inproceedings{10.1145/3523227.3547387,
author = {Ivchenko, Dmytro and Van Der Staay, Dennis and Taylor, Colin and Liu, Xing and Feng, Will and Kindi, Rahul and Sudarshan, Anirudh and Sefati, Shahin},
title = {TorchRec: a PyTorch Domain Library for Recommendation Systems},
year = {2022},
isbn = {9781450392785},
publisher = {Association for Computing Machinery},
address = {New York, NY, USA},
url = {https://doi.org/10.1145/3523227.3547387},
doi = {10.1145/3523227.3547387},
abstract = {Recommendation Systems (RecSys) comprise a large footprint of production-deployed AI today. The neural network-based recommender systems differ from deep learning models in other domains in using high-cardinality categorical sparse features that require large embedding tables to be trained. In this talk we introduce TorchRec, a PyTorch domain library for Recommendation Systems. This new library provides common sparsity and parallelism primitives, enabling researchers to build state-of-the-art personalization models and deploy them in production. In this talk we cover the building blocks of the TorchRec library including modeling primitives such as embedding bags and jagged tensors, optimized recommender system kernels powered by FBGEMM, a flexible sharder that supports a veriety of strategies for partitioning embedding tables, a planner that automatically generates optimized and performant sharding plans, support for GPU inference and common modeling modules for building recommender system models. TorchRec library is currently used to train large-scale recommender models at Meta. We will present how TorchRec helped Meta’s recommender system platform to transition from CPU asynchronous training to accelerator-based full-sync training.},
booktitle = {Proceedings of the 16th ACM Conference on Recommender Systems},
pages = {482–483},
numpages = {2},
keywords = {information retrieval, recommender systems},
location = {Seattle, WA, USA},
series = {RecSys '22}
}

رخصة

Torchrec هو BSD مرخص ، كما هو موجود في ملف الترخيص.