torchrecダウンロードtorchrecソースコードのダウンロード

torchrec

パイソン

v1.0.0

ダウンロード

トーチレック

Torchrecは、大規模な推奨システム（Recsys）に必要な一般的なスパース性と並列性プリミティブを提供するために構築されたPytorchドメインライブラリです。 TorchRecは、多くのGPUに覆われた大きな埋め込みテーブルを備えたモデルのトレーニングと推論を可能にし、 METAで多くの生産想起モデルを供給します。

外部の存在

Torchrecは、推奨システムの進歩を加速するために使用されています。いくつかの例：

MetaのDLRM（Deep Learning推奨モデル）の最新バージョンは、TorchRecを使用して構築されています
分解されたマルチタワー：効率的な大規模な推奨ペーパーのトポロジを認識したモデリング手法
Twitterからのアルゴリズムml
Databricksを使用したトレーニング推奨モデル
オフロードペーパーを埋め込んだ100TBモデルに向けて

導入

TorchRecについて学び始めるには、チェックしてください。

完全なTorchRecチュートリアル
TorchRecおよびAPI参照の概要のためのTorchRecドキュメント

TorchRec機能

ハイブリッドデータ並列性/モデル平行化を使用した、大規模でパフォーマンスの多いマルチデバイス/マルチノードモデルの簡単なオーサリングを可能にする並列処理プリミティブ。
データ並列、テーブルごとの、列ごとの列、列ごと、テーブルごとの列のようにシェルディングなど、さまざまな戦略を備えたシャーダーからシャード埋め込みテーブル。
モデルの最適化されたシャード計画を自動的に生成できるプランナー。
パフォーマンスを向上させるために、パイプラインのトレーニングトレーニングデバイス転送（GPUへのコピー）、デバイス間通信（input_dist）、および計算（フォワード、バックワード）。
FBGEMMを搭載したRecsysの最適化されたカーネル。
C ++推論のトーチレックモデルの最適化とともに、精密トレーニングと推論の削減をサポートします。
Recsysの一般的なモジュール。
Recsysデータセット（criteoクリックログとmovielens）
criteoクリックログデータセットでトレーニングされたDLRMイベント予測モデルなど、エンドツーエンドトレーニングの例。

インストール

TorchRecをセットアップする推奨方法については、ドキュメントのGetting Wart Sectionをご覧ください。

ソースから

一般的に、ソースから構築する必要はありません。ほとんどのユースケースについては、上記のセクションに従ってTorchRecをセットアップします。ただし、ソースから構築し、最新の変更を取得するには、以下を実行します。

Pytorchをインストールします。 Pytorchドキュメントを参照してください。

 CUDA 12.4

pip install torch --index-url https://download.pytorch.org/whl/nightly/cu124

CUDA 12.1

pip install torch --index-url https://download.pytorch.org/whl/nightly/cu121

CUDA 11.8

pip install torch --index-url https://download.pytorch.org/whl/nightly/cu118

CPU

pip install torch --index-url https://download.pytorch.org/whl/nightly/cpu

クローントーチレック。

 git clone --recursive https://github.com/pytorch/torchrec
cd torchrec

FBGEMMをインストールします。

 CUDA 12.4

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cu124

CUDA 12.1

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cu121

CUDA 11.8

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cu118

CPU

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cpu

他の要件をインストールします。
```
 pip install -r requirements.txt
```
TorchRecをインストールします。
```
 python setup.py install develop
```
インストールをテストします（3.11でtorchx-nightlyを使用します。3.12の場合、Torchxは現在機能しません）。
```
 GPU mode

torchx run -s local_cwd dist.ddp -j 1x2 --gpu 2 --script test_installation.py

CPU Mode

torchx run -s local_cwd dist.ddp -j 1x2 --script test_installation.py -- --cpu_only
```
分散ジョブとリモートジョブの立ち上げの詳細については、Torchxを参照してください。
より複雑な例を実行したい場合は、TorchRec DLRMの例をご覧ください。

貢献

TorchRecへの貢献の詳細については、Contributing.mdを参照してください！

引用

TorchRecを使用している場合は、Bibtexエントリを参照してこの作業を引用してください。

 @inproceedings{10.1145/3523227.3547387,
author = {Ivchenko, Dmytro and Van Der Staay, Dennis and Taylor, Colin and Liu, Xing and Feng, Will and Kindi, Rahul and Sudarshan, Anirudh and Sefati, Shahin},
title = {TorchRec: a PyTorch Domain Library for Recommendation Systems},
year = {2022},
isbn = {9781450392785},
publisher = {Association for Computing Machinery},
address = {New York, NY, USA},
url = {https://doi.org/10.1145/3523227.3547387},
doi = {10.1145/3523227.3547387},
abstract = {Recommendation Systems (RecSys) comprise a large footprint of production-deployed AI today. The neural network-based recommender systems differ from deep learning models in other domains in using high-cardinality categorical sparse features that require large embedding tables to be trained. In this talk we introduce TorchRec, a PyTorch domain library for Recommendation Systems. This new library provides common sparsity and parallelism primitives, enabling researchers to build state-of-the-art personalization models and deploy them in production. In this talk we cover the building blocks of the TorchRec library including modeling primitives such as embedding bags and jagged tensors, optimized recommender system kernels powered by FBGEMM, a flexible sharder that supports a veriety of strategies for partitioning embedding tables, a planner that automatically generates optimized and performant sharding plans, support for GPU inference and common modeling modules for building recommender system models. TorchRec library is currently used to train large-scale recommender models at Meta. We will present how TorchRec helped Meta’s recommender system platform to transition from CPU asynchronous training to accelerator-based full-sync training.},
booktitle = {Proceedings of the 16th ACM Conference on Recommender Systems},
pages = {482–483},
numpages = {2},
keywords = {information retrieval, recommender systems},
location = {Seattle, WA, USA},
series = {RecSys '22}
}