Téléchargement de torchrec - torchrec Source Téléchargement

torchrec

Python

v1.0.0

Télécharger

Torche

Torchrec est une bibliothèque de domaines Pytorch conçue pour fournir des primitives de rareté et de parallélisme communes nécessaires aux systèmes de recommandation à grande échelle (Recsys). Torchrec permet l'entraînement et l'inférence de modèles avec de grandes tables d'incorporation étouffées sur de nombreux GPU et puissent de nombreux modèles de production RecSys à Meta .

Présence externe

Torchrec a été utilisé pour accélérer les progrès des systèmes de recommandation, quelques exemples:

La dernière version du DLRM de Meta (modèle de recommandation d'apprentissage en profondeur) est construite à l'aide de Torchrec
Multi-puissance désagrégée: technique de modélisation consciente de la topologie pour un document de recommandation à grande échelle efficace
L'algorithme ML de Twitter
Modèles de recommandation de formation avec Databricks
Vers le modèle de 100 To avec du papier de déchargement d'intégration

Introduction

Pour commencer à apprendre sur Torchrec, consultez:

Notre tutoriel complet de Torchrec
La documentation Torchrec pour un aperçu des références Torchrec et API

Caractéristiques de Torchrec

Primitives de parallélisme qui permettent une création facile de grands modèles multi-périphériques / multi-nœuds performants en utilisant des données-parallélisme hybrides / modèles-parallélisme.
Les briseurs de tables d'incorporation avec différentes stratégies, y compris les données parallèles, le tableau, le rang des lignes, la table-sage, sur le plan de la colonne et le table-colonne-colonne par colonne.
Planificateur qui peut générer automatiquement des plans de rupture optimisés pour les modèles.
Pipeline Training chevauchant le transfert de périphérique de données de données (copier vers GPU), les communications inter-appareils (Input_dist) et le calcul (vers l'avant, vers l'arrière) pour une performance accrue.
Noyaux optimisés pour Recsys alimentés par FBGEMM.
Support de quantification pour une formation et une inférence de précision réduites, ainsi que l'optimisation d'un modèle Torchrec pour l'inférence C ++.
Modules communs pour Recsys.
Ensembles de données Recsys (Criteo Click Journaux et Movielens)
Exemples de formation de bout en bout tels que le modèle de prédiction des événements DLRM formé sur le jeu de données des journaux de clics Criteo.

Installation

Consultez la section de démarrage dans la documentation pour les façons recommandées de configurer Torchrec.

De la source

Généralement, il n'est pas nécessaire de construire à partir de la source . Pour la plupart des cas d'utilisation, suivez la section ci-dessus pour configurer Torchrec. Cependant, pour construire à partir de la source et pour obtenir les derniers modifications, procédez comme suit:

Installez Pytorch. Voir la documentation Pytorch.

 CUDA 12.4

pip install torch --index-url https://download.pytorch.org/whl/nightly/cu124

CUDA 12.1

pip install torch --index-url https://download.pytorch.org/whl/nightly/cu121

CUDA 11.8

pip install torch --index-url https://download.pytorch.org/whl/nightly/cu118

CPU

pip install torch --index-url https://download.pytorch.org/whl/nightly/cpu

Clone Torchrec.

 git clone --recursive https://github.com/pytorch/torchrec
cd torchrec

Installez FBGEMM.

 CUDA 12.4

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cu124

CUDA 12.1

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cu121

CUDA 11.8

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cu118

CPU

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cpu

Installer d'autres exigences.
```
 pip install -r requirements.txt
```
Installez Torchrec.
```
 python setup.py install develop
```
Testez l'installation (utilisez Torchx-nightly pour 3.11; pour 3,12, Torchx ne fonctionne actuellement pas).
```
 GPU mode

torchx run -s local_cwd dist.ddp -j 1x2 --gpu 2 --script test_installation.py

CPU Mode

torchx run -s local_cwd dist.ddp -j 1x2 --script test_installation.py -- --cpu_only
```
Voir Torchx pour plus d'informations sur le lancement de travaux distribués et distribusants.
Si vous souhaitez exécuter un exemple plus complexe, veuillez jeter un œil à l'exemple Torchrec DLRM.

Contributif

Voir contribution.md pour plus de détails sur la contribution à Torchrec!

Citation

Si vous utilisez Torchrec, veuillez vous référer à l'entrée Bibtex pour citer ce travail:

 @inproceedings{10.1145/3523227.3547387,
author = {Ivchenko, Dmytro and Van Der Staay, Dennis and Taylor, Colin and Liu, Xing and Feng, Will and Kindi, Rahul and Sudarshan, Anirudh and Sefati, Shahin},
title = {TorchRec: a PyTorch Domain Library for Recommendation Systems},
year = {2022},
isbn = {9781450392785},
publisher = {Association for Computing Machinery},
address = {New York, NY, USA},
url = {https://doi.org/10.1145/3523227.3547387},
doi = {10.1145/3523227.3547387},
abstract = {Recommendation Systems (RecSys) comprise a large footprint of production-deployed AI today. The neural network-based recommender systems differ from deep learning models in other domains in using high-cardinality categorical sparse features that require large embedding tables to be trained. In this talk we introduce TorchRec, a PyTorch domain library for Recommendation Systems. This new library provides common sparsity and parallelism primitives, enabling researchers to build state-of-the-art personalization models and deploy them in production. In this talk we cover the building blocks of the TorchRec library including modeling primitives such as embedding bags and jagged tensors, optimized recommender system kernels powered by FBGEMM, a flexible sharder that supports a veriety of strategies for partitioning embedding tables, a planner that automatically generates optimized and performant sharding plans, support for GPU inference and common modeling modules for building recommender system models. TorchRec library is currently used to train large-scale recommender models at Meta. We will present how TorchRec helped Meta’s recommender system platform to transition from CPU asynchronous training to accelerator-based full-sync training.},
booktitle = {Proceedings of the 16th ACM Conference on Recommender Systems},
pages = {482–483},
numpages = {2},
keywords = {information retrieval, recommender systems},
location = {Seattle, WA, USA},
series = {RecSys '22}
}