Descargar torchrec - Descargar el código fuente de torchrec

torchrec

Pitón

v1.0.0

Descargar

Antorchre

TorchRec es una biblioteca de dominio Pytorch construida para proporcionar primitivas comunes de escasez y paralelismo necesarias para sistemas de recomendación a gran escala (RECSYS). TorchREC permite el entrenamiento e inferencia de modelos con grandes tablas de incrustación fragmentadas en muchas GPU y poderes muchos modelos de producción de RECSY en Meta .

Presencia externa

TorchRec se ha utilizado para acelerar los avances en los sistemas de recomendación, algunos ejemplos:

La última versión del DLRM de Meta (modelo de recomendación de aprendizaje profundo) se construye con TorchRec
Multi-tower desagregado: técnica de modelado consciente de topología para un documento eficiente de recomendación a gran escala
El algoritmo ML de Twitter
Modelos de recomendación de capacitación con Databricks
Hacia el modelo de 100TB con papel de descarga de incrustación

Introducción

Para comenzar a aprender sobre TorchRec, consulte:

Nuestro tutorial completo de TorchRec
La documentación de TorchRec para una descripción general de las referencias de TorchRec y API

Características de TorchRec

Primitivas de paralelismo que permiten una autorización fácil de modelos de múltiples dispositivos/múltiples de múltiples valores grandes y de rendimiento.
Las tablas de incrustación de fragmentos a fragmentos con diferentes estrategias, incluidos los datos paralelos, en cuanto a la tabla, en cuanto a la tabla, en cuanto a la tabla, en cuanto a la columna y a los fragmentos de columna de mesa.
Planificador que puede generar automáticamente planes de fragmento optimizados para los modelos.
Transferencia de dispositivos de datos de data de data de entrenamiento canalizado (copia a GPU), comunicaciones entre dispositivos (input_dist) y cálculo (avance, hacia atrás) para un mayor rendimiento.
Kernels optimizados para RECSys alimentados por FBGEMM.
Soporte de cuantización para una capacitación e inferencia de precisión reducida, junto con la optimización de un modelo TORCHREC para la inferencia de C ++.
Módulos comunes para RECSYS.
Recsys DataSets (Criteo Haga clic en Registros y Movielens)
Ejemplos de capacitación de extremo a extremo como el modelo de predicción de eventos DLRM capacitado en el conjunto de datos de registros de clic Criteo.

Instalación

Consulte la sección Getting Start en la documentación para obtener formas recomendadas de configurar TORCHREC.

De la fuente

En general, no hay necesidad de construir desde la fuente . Para la mayoría de los casos de uso, siga la sección anterior para configurar TorChREC. Sin embargo, para construir desde la fuente y obtener los últimos cambios, haga lo siguiente:

Instale Pytorch. Ver documentación de Pytorch.

 CUDA 12.4

pip install torch --index-url https://download.pytorch.org/whl/nightly/cu124

CUDA 12.1

pip install torch --index-url https://download.pytorch.org/whl/nightly/cu121

CUDA 11.8

pip install torch --index-url https://download.pytorch.org/whl/nightly/cu118

CPU

pip install torch --index-url https://download.pytorch.org/whl/nightly/cpu

Clon Torchrec.

 git clone --recursive https://github.com/pytorch/torchrec
cd torchrec

Instale fbgemm.

 CUDA 12.4

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cu124

CUDA 12.1

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cu121

CUDA 11.8

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cu118

CPU

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cpu

Instalar otros requisitos.
```
 pip install -r requirements.txt
```
Instalar TorchRec.
```
 python setup.py install develop
```
Pruebe la instalación (use TORCHX-Nightly para 3.11; para 3.12, Torchx actualmente no funciona).
```
 GPU mode

torchx run -s local_cwd dist.ddp -j 1x2 --gpu 2 --script test_installation.py

CPU Mode

torchx run -s local_cwd dist.ddp -j 1x2 --script test_installation.py -- --cpu_only
```
Consulte TORCHX para obtener más información sobre el lanzamiento de trabajos distribuidos y remotos.
Si desea ejecutar un ejemplo más complejo, eche un vistazo al ejemplo TorchRec DLRM.

Que contribuye

¡Ver contribuyente.md para obtener detalles sobre la contribución de TorchRec!

Citación

Si está utilizando TORCHREC, consulte la entrada de Bibtex para citar este trabajo:

 @inproceedings{10.1145/3523227.3547387,
author = {Ivchenko, Dmytro and Van Der Staay, Dennis and Taylor, Colin and Liu, Xing and Feng, Will and Kindi, Rahul and Sudarshan, Anirudh and Sefati, Shahin},
title = {TorchRec: a PyTorch Domain Library for Recommendation Systems},
year = {2022},
isbn = {9781450392785},
publisher = {Association for Computing Machinery},
address = {New York, NY, USA},
url = {https://doi.org/10.1145/3523227.3547387},
doi = {10.1145/3523227.3547387},
abstract = {Recommendation Systems (RecSys) comprise a large footprint of production-deployed AI today. The neural network-based recommender systems differ from deep learning models in other domains in using high-cardinality categorical sparse features that require large embedding tables to be trained. In this talk we introduce TorchRec, a PyTorch domain library for Recommendation Systems. This new library provides common sparsity and parallelism primitives, enabling researchers to build state-of-the-art personalization models and deploy them in production. In this talk we cover the building blocks of the TorchRec library including modeling primitives such as embedding bags and jagged tensors, optimized recommender system kernels powered by FBGEMM, a flexible sharder that supports a veriety of strategies for partitioning embedding tables, a planner that automatically generates optimized and performant sharding plans, support for GPU inference and common modeling modules for building recommender system models. TorchRec library is currently used to train large-scale recommender models at Meta. We will present how TorchRec helped Meta’s recommender system platform to transition from CPU asynchronous training to accelerator-based full-sync training.},
booktitle = {Proceedings of the 16th ACM Conference on Recommender Systems},
pages = {482–483},
numpages = {2},
keywords = {information retrieval, recommender systems},
location = {Seattle, WA, USA},
series = {RecSys '22}
}