Скачать torchrec - Скачать исходный код torchrec

torchrec

Питон

v1.0.0

Скачать

Торшрек

TOCHREC -это библиотека доменов Pytorch, созданная для обеспечения общего разреженного и параллелизма, необходимых для крупномасштабных систем рекомендаций (Recsys). TOCHREC позволяет обучать и выводы моделей с большими таблицами встраиваемых встроенных таблиц по многим графическим процессорам, и мощности многих производственных моделей Recsys в Meta .

Внешнее присутствие

TOCHREC использовался для ускорения достижений в системах рекомендаций, некоторые примеры:

Последняя версия Meta's DLRM (модель рекомендаций по глубокому обучению) построена с использованием TOCHREC
Разрешенная мульти-башня: метод моделирования с учетом топологии для эффективной крупномасштабной рекомендательной бумаги
Алгоритм ML из Twitter
Модели рекомендаций по обучению с данными данных
К модели на 100 ТБ с внедрением бумаги разгрузки

Введение

Чтобы начать узнать о TorchRec, проверьте:

Наш полный учебник TORCHREC
Документация TOCHREC для обзора ссылок TOCHREC и API

Функции TOCHREC

Примитивы параллелизма, которые позволяют легко авторизовать крупные, производительные многолетние/мультизлежные модели с использованием гибридного параллелизма/модельного параллелизма.
Шардеры в Shard внедряют таблицы с различными стратегиями, включая параллельные данные, таблицы, по ряду, в таблице по ряду, по столбцам и по собственному колону.
Планировщик, который может автоматически генерировать оптимизированные планы шардинга для моделей.
Трубопроводная обучающая перекрывающаяся передача устройства DataLoAding (копирование в GPU), межпадационная связь (input_dist) и вычисления (вперед, назад) для повышения производительности.
Оптимизированные ядра для Recsys, работающих на FBGEMM.
Поддержка квантования для снижения точного обучения и вывода, а также оптимизация модели TorchRec для вывода C ++.
Общие модули для Recsys.
Наборы данных Recsys (CRITEO Click Logs и Movielens)
Примеры сквозного обучения, такая модель прогнозирования событий DLRM, обученная набору данных Criteo Click Logs.

Установка

Проверьте раздел «Начало работы» в документации для рекомендуемых способов настроить TorchRec.

Из источника

Как правило, нет необходимости строить из источника . Для большинства вариантов использования следуйте разделу выше, чтобы настроить TOCHREC. Однако, чтобы построить из источника и получить последние изменения, сделайте следующее:

Установите Pytorch. Смотрите документацию Pytorch.

 CUDA 12.4

pip install torch --index-url https://download.pytorch.org/whl/nightly/cu124

CUDA 12.1

pip install torch --index-url https://download.pytorch.org/whl/nightly/cu121

CUDA 11.8

pip install torch --index-url https://download.pytorch.org/whl/nightly/cu118

CPU

pip install torch --index-url https://download.pytorch.org/whl/nightly/cpu

Клон Torchrec.

 git clone --recursive https://github.com/pytorch/torchrec
cd torchrec

Установите fbgemm.

 CUDA 12.4

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cu124

CUDA 12.1

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cu121

CUDA 11.8

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cu118

CPU

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cpu

Установите другие требования.
```
 pip install -r requirements.txt
```
Установите TOCHREC.
```
 python setup.py install develop
```
Проверьте установку (используйте Torchx-Nightly для 3.11; для 3.12 Torchx в настоящее время не работает).
```
 GPU mode

torchx run -s local_cwd dist.ddp -j 1x2 --gpu 2 --script test_installation.py

CPU Mode

torchx run -s local_cwd dist.ddp -j 1x2 --script test_installation.py -- --cpu_only
```
См. Torchx для получения дополнительной информации о запуске распределенных и удаленных заданий.
Если вы хотите запустить более сложный пример, посмотрите на пример TOCHREC DLRM.

Внося

См. Appling.md для получения подробной информации о внесении вклад в Torchrec!

Цитирование

Если вы используете TorchRec, пожалуйста, обратитесь к записи Bibtex, чтобы цитировать эту работу:

 @inproceedings{10.1145/3523227.3547387,
author = {Ivchenko, Dmytro and Van Der Staay, Dennis and Taylor, Colin and Liu, Xing and Feng, Will and Kindi, Rahul and Sudarshan, Anirudh and Sefati, Shahin},
title = {TorchRec: a PyTorch Domain Library for Recommendation Systems},
year = {2022},
isbn = {9781450392785},
publisher = {Association for Computing Machinery},
address = {New York, NY, USA},
url = {https://doi.org/10.1145/3523227.3547387},
doi = {10.1145/3523227.3547387},
abstract = {Recommendation Systems (RecSys) comprise a large footprint of production-deployed AI today. The neural network-based recommender systems differ from deep learning models in other domains in using high-cardinality categorical sparse features that require large embedding tables to be trained. In this talk we introduce TorchRec, a PyTorch domain library for Recommendation Systems. This new library provides common sparsity and parallelism primitives, enabling researchers to build state-of-the-art personalization models and deploy them in production. In this talk we cover the building blocks of the TorchRec library including modeling primitives such as embedding bags and jagged tensors, optimized recommender system kernels powered by FBGEMM, a flexible sharder that supports a veriety of strategies for partitioning embedding tables, a planner that automatically generates optimized and performant sharding plans, support for GPU inference and common modeling modules for building recommender system models. TorchRec library is currently used to train large-scale recommender models at Meta. We will present how TorchRec helped Meta’s recommender system platform to transition from CPU asynchronous training to accelerator-based full-sync training.},
booktitle = {Proceedings of the 16th ACM Conference on Recommender Systems},
pages = {482–483},
numpages = {2},
keywords = {information retrieval, recommender systems},
location = {Seattle, WA, USA},
series = {RecSys '22}
}