torchrec Download - torchrec Quellcode Download

torchrec

Python

v1.0.0

Herunterladen

Torchrec

Torchrec ist eine Pytorch-Domänenbibliothek, die für gemeinsame Sparsitäts- und Parallelitätsprimitive für großräumige Empfehlungssysteme (Recsys) zur Verfügung stellt. Torchrec ermöglicht das Training und die Schlussfolgerung von Modellen mit großen Einbettungstabellen über viele GPUs und versorgt bei Meta viele Produktionsrecsys -Modelle .

Externe Präsenz

Torchrec wurde verwendet, um Fortschritte in Empfehlungssystemen zu beschleunigen, einige Beispiele:

Die neueste Version des DLRM von Meta (Deep Learning Empfehlungsmodell) wurde unter Verwendung von Torchrec erstellt
Disaggregierte Multiturm: Topologie-bewusstes Modellierungstechnik für effizientes groß angelegte Empfehlungspapier
Der Algorithmus ML von Twitter
Schulungsempfehlungsmodelle mit Datenbanken
In Richtung 100 -TB -Modell mit Einbettung von Abladungspapier

Einführung

Um über Torchrec zu lernen, schauen Sie sich an:

Unser komplettes Torchrec -Tutorial
Die Torchrec -Dokumentation für einen Überblick über Torchrec- und API -Referenzen

Torchrec -Funktionen

Parallelitätsprimitive, die eine einfache Autoration großer, leistungsfähiger Multi-Gerät/Multi-Knoten-Modelle unter Verwendung hybrider Datenparallelität/Modell-Parallelismus ermöglichen.
Sharders zum Einbetten von Tabellen mit unterschiedlichen Strategien, einschließlich datenparalleler, Tabellen-, Zeilen-, Tabellen-wise-ruhiger, säulen- und tabellanter Säulen-Wise-Wise-Wise-Sharding.
Planer, der automatisch optimierte Sharding -Pläne für Modelle generieren kann.
Pipelined Training überlappende Dataloading-Geräteübertragung (Kopie in GPU), Inter-Device Communications (input_dist) und Berechnung (vorwärts, rückwärts) für eine erhöhte Leistung.
Optimierte Kerne für von FBGEMM angetriebene Recsys.
Quantisierungsunterstützung für reduziertes Präzisionstraining und Inferenz sowie Optimierung eines Torchrec -Modells für C ++ - Inferenz.
Gemeinsame Module für Recsys.
Recsys -Datensätze (Criteo -Klickprotokolle und Movielens)
Beispiele für das End-to-End-Training, das das DLRM-Ereignisvorhersagemodell, das auf Criteo-Klick-Protokoll-Datensatz trainiert wurde.

Installation

In der Dokumentation finden Sie den Abschnitt "Erste Schritte" für empfohlene Möglichkeiten zum Einrichten von Torchrec.

Von Quelle

Im Allgemeinen muss nicht aus der Quelle erstellt werden . Befolgen Sie für die meisten Anwendungsfälle den obigen Abschnitt, um Torchrec einzurichten. Um jedoch aus der Quelle aufzubauen und die neuesten Änderungen zu erhalten, führen Sie Folgendes vor:

Pytorch installieren. Siehe Pytorch -Dokumentation.

 CUDA 12.4

pip install torch --index-url https://download.pytorch.org/whl/nightly/cu124

CUDA 12.1

pip install torch --index-url https://download.pytorch.org/whl/nightly/cu121

CUDA 11.8

pip install torch --index-url https://download.pytorch.org/whl/nightly/cu118

CPU

pip install torch --index-url https://download.pytorch.org/whl/nightly/cpu

Klon Torchrec.

 git clone --recursive https://github.com/pytorch/torchrec
cd torchrec

Installieren Sie FBGEMM.

 CUDA 12.4

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cu124

CUDA 12.1

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cu121

CUDA 11.8

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cu118

CPU

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cpu

Andere Anforderungen installieren.
```
 pip install -r requirements.txt
```
TRAINSCHAFTEN.
```
 python setup.py install develop
```
Testen Sie die Installation (verwenden Sie Torchx-Nightly für 3.11; Für 3.12 funktioniert Torchx derzeit nicht).
```
 GPU mode

torchx run -s local_cwd dist.ddp -j 1x2 --gpu 2 --script test_installation.py

CPU Mode

torchx run -s local_cwd dist.ddp -j 1x2 --script test_installation.py -- --cpu_only
```
Weitere Informationen zum Start von verteilten und entfernten Jobs finden Sie in Torchx.
Wenn Sie ein komplexeres Beispiel ausführen möchten, lesen Sie bitte einen Blick auf das Torchrec DLRM -Beispiel.

Beitragen

Weitere Informationen zum Beitrag zu Torchrec finden Sie unter Beitrags.md!

Zitat

Wenn Sie Torchrec verwenden, lesen Sie bitte den Bibtex -Eintrag, um diese Arbeit zu zitieren:

 @inproceedings{10.1145/3523227.3547387,
author = {Ivchenko, Dmytro and Van Der Staay, Dennis and Taylor, Colin and Liu, Xing and Feng, Will and Kindi, Rahul and Sudarshan, Anirudh and Sefati, Shahin},
title = {TorchRec: a PyTorch Domain Library for Recommendation Systems},
year = {2022},
isbn = {9781450392785},
publisher = {Association for Computing Machinery},
address = {New York, NY, USA},
url = {https://doi.org/10.1145/3523227.3547387},
doi = {10.1145/3523227.3547387},
abstract = {Recommendation Systems (RecSys) comprise a large footprint of production-deployed AI today. The neural network-based recommender systems differ from deep learning models in other domains in using high-cardinality categorical sparse features that require large embedding tables to be trained. In this talk we introduce TorchRec, a PyTorch domain library for Recommendation Systems. This new library provides common sparsity and parallelism primitives, enabling researchers to build state-of-the-art personalization models and deploy them in production. In this talk we cover the building blocks of the TorchRec library including modeling primitives such as embedding bags and jagged tensors, optimized recommender system kernels powered by FBGEMM, a flexible sharder that supports a veriety of strategies for partitioning embedding tables, a planner that automatically generates optimized and performant sharding plans, support for GPU inference and common modeling modules for building recommender system models. TorchRec library is currently used to train large-scale recommender models at Meta. We will present how TorchRec helped Meta’s recommender system platform to transition from CPU asynchronous training to accelerator-based full-sync training.},
booktitle = {Proceedings of the 16th ACM Conference on Recommender Systems},
pages = {482–483},
numpages = {2},
keywords = {information retrieval, recommender systems},
location = {Seattle, WA, USA},
series = {RecSys '22}
}