Download do torchrec - Download do código -fonte torchrec

torchrec

Pitão

v1.0.0

Baixar

Torchrec

O Torchrec é uma biblioteca de domínio Pytorch criada para fornecer primitivos comuns e paralelismo necessários para sistemas de recomendação em larga escala (RECSYS). O Torchrec permite o treinamento e a inferência de modelos com grandes tabelas de incorporação empurradas em muitas GPUs e potências muitos modelos de produção de Recsys na Meta .

Presença externa

Torchrec tem sido usado para acelerar os avanços nos sistemas de recomendação, alguns exemplos:

A versão mais recente do DLRM do Meta (Modelo de Recomendação de Aprendizagem Deep) é construído usando o Torchrec
Multi-Tower desagregadas: Técnica de modelagem com reconhecimento de topologia para um eficiente papel de recomendação em larga escala
O algoritmo ML do Twitter
Modelos de recomendação de treinamento com banco de dados
Em direção ao modelo de 100 TB com a incorporação de papel de descarga

Introdução

Para começar a aprender sobre o Torchrec, confira:

Nosso tutorial completo de Torchrec
A documentação da Torchrec para uma visão geral das referências de tocha e API

Recursos de Torchrec

Paralelismo Primitives que permitem a fácil autoridade de modelos grandes e com vários dispositivos/multi-nó usando o paralelismo de dados híbridos/paralelismo modelo.
Sharders to shard incorporando tabelas com estratégias diferentes, incluindo paralelo de dados, tabela, emoção, sharding em termos de mesa, em termos de coluna e em coluna de mesa.
O planejador que pode gerar automaticamente planos de sharding otimizados para modelos.
Treinamento Pipelining Transferência de dispositivos de dados de dados sobrepostos (cópia para GPU), comunicações entre dispositivos (input_dist) e computação (para a frente, para trás) para aumentar o desempenho.
Kernels otimizados para Recsys alimentados pelo FBGEMM.
Suporte à quantização para treinamento e inferência de precisão reduzida, além de otimizar um modelo de tocha para inferência de C ++.
Módulos comuns para Recsys.
Conjuntos de dados do RECSYS (Criteo clique em logs e movielens)
Exemplos de treinamento de ponta a ponta como o modelo de previsão de eventos DLRM treinado no conjunto de dados Criteo Click Logs.

Instalação

Confira a seção de início da documentação para obter maneiras recomendadas para configurar o Torchrec.

Da fonte

Geralmente, não há necessidade de construir a partir da fonte . Para a maioria dos casos de uso, siga a seção acima para configurar o Torchrec. No entanto, para construir a partir da fonte e obter as últimas alterações, faça o seguinte:

Instale o pytorch. Veja a documentação de Pytorch.

 CUDA 12.4

pip install torch --index-url https://download.pytorch.org/whl/nightly/cu124

CUDA 12.1

pip install torch --index-url https://download.pytorch.org/whl/nightly/cu121

CUDA 11.8

pip install torch --index-url https://download.pytorch.org/whl/nightly/cu118

CPU

pip install torch --index-url https://download.pytorch.org/whl/nightly/cpu

Clone Torchrec.

 git clone --recursive https://github.com/pytorch/torchrec
cd torchrec

Instale o FBGEMM.

 CUDA 12.4

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cu124

CUDA 12.1

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cu121

CUDA 11.8

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cu118

CPU

pip install fbgemm-gpu --index-url https://download.pytorch.org/whl/nightly/cpu

Instalar outros requisitos.
```
 pip install -r requirements.txt
```
Instale o Torchrec.
```
 python setup.py install develop
```
Teste a instalação (use o Torchx Nightly para 3.11; para 3.12, o Torchx atualmente não funciona).
```
 GPU mode

torchx run -s local_cwd dist.ddp -j 1x2 --gpu 2 --script test_installation.py

CPU Mode

torchx run -s local_cwd dist.ddp -j 1x2 --script test_installation.py -- --cpu_only
```
Consulte Torchx para obter mais informações sobre o lançamento de trabalhos distribuídos e remotos.
Se você deseja executar um exemplo mais complexo, dê uma olhada no exemplo do Torchrec DLRM.

Contribuindo

Consulte Contribuindo.md para obter detalhes sobre a contribuição para o Torchrec!

Citação

Se você estiver usando o Torchrec, consulte a entrada do Bibtex para citar este trabalho:

 @inproceedings{10.1145/3523227.3547387,
author = {Ivchenko, Dmytro and Van Der Staay, Dennis and Taylor, Colin and Liu, Xing and Feng, Will and Kindi, Rahul and Sudarshan, Anirudh and Sefati, Shahin},
title = {TorchRec: a PyTorch Domain Library for Recommendation Systems},
year = {2022},
isbn = {9781450392785},
publisher = {Association for Computing Machinery},
address = {New York, NY, USA},
url = {https://doi.org/10.1145/3523227.3547387},
doi = {10.1145/3523227.3547387},
abstract = {Recommendation Systems (RecSys) comprise a large footprint of production-deployed AI today. The neural network-based recommender systems differ from deep learning models in other domains in using high-cardinality categorical sparse features that require large embedding tables to be trained. In this talk we introduce TorchRec, a PyTorch domain library for Recommendation Systems. This new library provides common sparsity and parallelism primitives, enabling researchers to build state-of-the-art personalization models and deploy them in production. In this talk we cover the building blocks of the TorchRec library including modeling primitives such as embedding bags and jagged tensors, optimized recommender system kernels powered by FBGEMM, a flexible sharder that supports a veriety of strategies for partitioning embedding tables, a planner that automatically generates optimized and performant sharding plans, support for GPU inference and common modeling modules for building recommender system models. TorchRec library is currently used to train large-scale recommender models at Meta. We will present how TorchRec helped Meta’s recommender system platform to transition from CPU asynchronous training to accelerator-based full-sync training.},
booktitle = {Proceedings of the 16th ACM Conference on Recommender Systems},
pages = {482–483},
numpages = {2},
keywords = {information retrieval, recommender systems},
location = {Seattle, WA, USA},
series = {RecSys '22}
}