Unduh torchrec - Unduh Kode Sumber torchrec

torchrec

ular piton

v1.0.0

Unduh

Torchrec

Torchrec adalah perpustakaan domain Pytorch yang dibangun untuk memberikan sparsity umum dan primitif paralelisme yang diperlukan untuk sistem rekomendasi skala besar (RECSYS). Torchrec memungkinkan pelatihan dan inferensi model dengan tabel embedding besar dicek di banyak GPU dan kekuatan banyak model recsys produksi di meta .

Kehadiran eksternal

Torchrec telah digunakan untuk mempercepat kemajuan dalam sistem rekomendasi, beberapa contoh:

Versi terbaru dari DLRM Meta (Model Rekomendasi Pembelajaran Depat) dibangun menggunakan Torchrec
Disagregated Multi-Tower: Teknik Pemodelan Topologi-Sehat Untuk Kertas Rekomendasi Skala Besar yang Efisien
Algoritma ML dari Twitter
Model Rekomendasi Pelatihan dengan Databricks
Menuju model 100TB dengan menanamkan kertas pembongkaran

Perkenalan

Untuk mulai belajar tentang Torchrec, lihat:

Tutorial Torchrec Lengkap kami
Dokumentasi Torchrec untuk Tinjauan Referensi Torchrec dan API

Fitur Torchrec

Paralelisme primitif yang memungkinkan penulisan mudah dari model multi-perangkat/multi-node yang besar menggunakan hibrida data-paralelisme/model-paralelisme.
Sharders to Shard Embedding Tables dengan strategi yang berbeda termasuk data-paralel, bijaksana tabel, biji-bijian, wise-wise-wise-wise,-wise-wise, dan sharding-wise-wise-wise-wise-wise.
Perencana yang secara otomatis dapat menghasilkan rencana sharding yang dioptimalkan untuk model.
Pelatihan pipa yang tumpang tindih transfer perangkat dataloading (salin ke GPU), komunikasi antar-perangkat (input_dist), dan komputasi (maju, mundur) untuk meningkatkan kinerja.
Kernel yang dioptimalkan untuk recsys yang ditenagai oleh FBGEMM.
Dukungan kuantisasi untuk pengurangan pelatihan dan inferensi presisi, bersama dengan mengoptimalkan model Torchrec untuk inferensi C ++.
Modul Umum untuk Recsys.
Dataset Recsys (Log Klik Criteo dan Movielens)
Contoh pelatihan end-to-end seperti model prediksi acara DLRM yang dilatih pada dataset Log Klik Criteo.

Instalasi

Lihat bagian Memulai dalam dokumentasi untuk cara yang disarankan untuk mengatur Torchrec.

Dari sumber

Secara umum, tidak perlu membangun dari sumber . Untuk sebagian besar kasus penggunaan, ikuti bagian di atas untuk mengatur Torchrec. Namun, untuk membangun dari sumber dan untuk mendapatkan perubahan terbaru, lakukan hal berikut:

Instal Pytorch. Lihat Dokumentasi Pytorch.

 CUDA 12.4

pip install torch --index-url https://download.pytorch.org/whl/nightly/cu124

CUDA 12.1

pip install torch --index-url https://download.pytorch.org/whl/nightly/cu121

CUDA 11.8

pip install torch --index-url https://download.pytorch.org/whl/nightly/cu118

CPU

pip install torch --index-url https://download.pytorch.org/whl/nightly/cpu

Klon Torchrec.

 git clone --recursive https://github.com/pytorch/torchrec
cd torchrec

Instal FBGEMM.

 CUDA 12.4

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cu124

CUDA 12.1

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cu121

CUDA 11.8

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cu118

CPU

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cpu

Pasang persyaratan lainnya.
```
 pip install -r requirements.txt
```
Instal Torchrec.
```
 python setup.py install develop
```
Uji instalasi (gunakan Torchx-Nightly untuk 3.11; untuk 3.12, Torchx saat ini tidak berfungsi).
```
 GPU mode

torchx run -s local_cwd dist.ddp -j 1x2 --gpu 2 --script test_installation.py

CPU Mode

torchx run -s local_cwd dist.ddp -j 1x2 --script test_installation.py -- --cpu_only
```
Lihat Torchx untuk informasi lebih lanjut tentang meluncurkan pekerjaan terdistribusi dan jarak jauh.
Jika Anda ingin menjalankan contoh yang lebih kompleks, silakan lihat contoh Torchrec DLRM.

Berkontribusi

Lihat Kontribusi.MD untuk detail tentang berkontribusi pada Torchrec!

Kutipan

Jika Anda menggunakan Torchrec, silakan merujuk ke entri Bibtex untuk mengutip karya ini:

 @inproceedings{10.1145/3523227.3547387,
author = {Ivchenko, Dmytro and Van Der Staay, Dennis and Taylor, Colin and Liu, Xing and Feng, Will and Kindi, Rahul and Sudarshan, Anirudh and Sefati, Shahin},
title = {TorchRec: a PyTorch Domain Library for Recommendation Systems},
year = {2022},
isbn = {9781450392785},
publisher = {Association for Computing Machinery},
address = {New York, NY, USA},
url = {https://doi.org/10.1145/3523227.3547387},
doi = {10.1145/3523227.3547387},
abstract = {Recommendation Systems (RecSys) comprise a large footprint of production-deployed AI today. The neural network-based recommender systems differ from deep learning models in other domains in using high-cardinality categorical sparse features that require large embedding tables to be trained. In this talk we introduce TorchRec, a PyTorch domain library for Recommendation Systems. This new library provides common sparsity and parallelism primitives, enabling researchers to build state-of-the-art personalization models and deploy them in production. In this talk we cover the building blocks of the TorchRec library including modeling primitives such as embedding bags and jagged tensors, optimized recommender system kernels powered by FBGEMM, a flexible sharder that supports a veriety of strategies for partitioning embedding tables, a planner that automatically generates optimized and performant sharding plans, support for GPU inference and common modeling modules for building recommender system models. TorchRec library is currently used to train large-scale recommender models at Meta. We will present how TorchRec helped Meta’s recommender system platform to transition from CPU asynchronous training to accelerator-based full-sync training.},
booktitle = {Proceedings of the 16th ACM Conference on Recommender Systems},
pages = {482–483},
numpages = {2},
keywords = {information retrieval, recommender systems},
location = {Seattle, WA, USA},
series = {RecSys '22}
}