pytorch_tabular

A Pytorch Tabular visa tornar o aprendizado profundo com dados tabulares fáceis e acessíveis a casos e pesquisas do mundo real. Os princípios principais por trás do design da biblioteca são:

• Baixa usabilidade de resistência
• Fácil personalização
• Escalável e mais fácil de implantar

Foi construído sobre os ombros de gigantes como Pytorch (obviamente) e Pytorch Lightning .

Índice

• Instalação
• Documentação
• Modelos disponíveis
• Uso
• Blogs
• Citação

Instalação

Embora a instalação inclua o Pytorch, a maneira melhor e recomendada é primeiro instalar o Pytorch a partir daqui, pegando a versão CUDA certa para sua máquina.

Uma vez, você instalou o Pytorch, basta usar:

pip install -U “pytorch_tabular[extra]”

Para instalar a biblioteca completa com dependências extras (pesos e vieses e plotagem).

E :

pip install -U “pytorch_tabular”

para os itens essenciais.

As fontes para pytorch_tabular podem ser baixadas do Github repo _.

Você pode clonar o repositório público:

git clone git://github.com/manujosephv/pytorch_tabular

Depois de ter uma cópia da fonte, você pode instalá -la com:

 cd pytorch_tabular && pip install .[extra]

Documentação

Para documentação completa com tutoriais, visite readthedocs

Modelos disponíveis

• Rede FeedForward com incorporação de categoria é uma rede FF simples, mas com camadas de incorporação para as colunas categóricas.
• Conjuntos de decisão alheios neurais para aprendizado profundo sobre dados tabulares é um modelo apresentado no ICLR 2020 e, de acordo com os autores, derrotaram modelos de aumento de gradiente bem ajustados em muitos conjuntos de dados.
• Tabnet: Aprendizagem tabular interpretável atenciosa é outro modelo que sai do Google Research, que usa atenção escassa em várias etapas de tomada de decisão para modelar a saída.
• Redes de densidade de mistura é um modelo de regressão que usa componentes gaussianos para aproximar a função alvo e fornecer uma previsão probabilística pronta para fora da caixa.
• Autoint: Aprendizagem automática de interação com recursos por meio de redes neurais auto-atentas é um modelo que tenta aprender interações entre os recursos de uma maneira automatizada e criar uma melhor representação e depois usar essa representação na tarefa a jusante
• O TabTransformer é uma adaptação do modelo do transformador para dados tabulares que cria representações contextuais para recursos categóricos.
• Transformador FT da revisitando modelos de aprendizado profundo para dados tabulares
• O conjunto de árvores aditivas fechado é um novo arquitetura de aprendizado profundo de alto desempenho, parâmetro e eficiência computacional para dados tabulares. O GATE usa um mecanismo de bloqueio, inspirado na GRU, como uma unidade de aprendizado de representação de recursos com um mecanismo de seleção de recursos embutido. Nós o combinamos com um conjunto de árvores de decisão diferenciável e não linear, ponderadas novamente com auto-ataque simples para prever a saída desejada.
• Rede adaptativa fechada para aprendizado automatizado profundo de recursos (Gandalf) é uma versão reduzida do portão, que é mais eficiente e com desempenho que o GATE. Gandalf faz do GFLUS a principal unidade de aprendizado, apresentando também algumas acelerações no processo. Com hiperparâmetros muito mínimos para sintonizar, isso se torna um modelo fácil de usar e sintonizar.
• Danets: Redes abstratas profundas para classificação e regressão de dados tabulares são um componente neural novo e flexível para dados tabulares, chamado de camada abstrata (ABSTLAY), que aprende a agrupar explicitamente os recursos de entrada correlacionada e a gerar características de nível superior para a abstração semântica. Um bloco básico especial é construído usando o ABSTLAYS e construímos uma família de redes abstratas profundas (danets) para classificação de dados tabulares e regressão, empilhando esses blocos.

Aprendizado semi-supervisionado

• O Denoising AutoEncoder é um autoencoder que aprende representação robusta de recursos, para compensar qualquer ruído no conjunto de dados.

Implementar modelos personalizados

Para implementar novos modelos, consulte o tutorial de como implementar novos modelos. Abrange arquiteturas básicas e avançadas.

Uso

 from pytorch_tabular import TabularModel
from pytorch_tabular . models import CategoryEmbeddingModelConfig
from pytorch_tabular . config import (
    DataConfig ,
    OptimizerConfig ,
    TrainerConfig ,
    ExperimentConfig ,
)

data_config = DataConfig (
    target = [
        "target"
    ],  # target should always be a list.
    continuous_cols = num_col_names ,
    categorical_cols = cat_col_names ,
)
trainer_config = TrainerConfig (
    auto_lr_find = True ,  # Runs the LRFinder to automatically derive a learning rate
    batch_size = 1024 ,
    max_epochs = 100 ,
)
optimizer_config = OptimizerConfig ()

model_config = CategoryEmbeddingModelConfig (
    task = "classification" ,
    layers = "1024-512-512" ,  # Number of nodes in each layer
    activation = "LeakyReLU" ,  # Activation between each layers
    learning_rate = 1e-3 ,
)

tabular_model = TabularModel (
    data_config = data_config ,
    model_config = model_config ,
    optimizer_config = optimizer_config ,
    trainer_config = trainer_config ,
)
tabular_model . fit ( train = train , validation = val )
result = tabular_model . evaluate ( test )
pred_df = tabular_model . predict ( test )
tabular_model . save_model ( "examples/basic" )
loaded_model = TabularModel . load_model ( "examples/basic" )

Blogs

• Pytorch Tabular - uma estrutura para aprendizado profundo para dados tabulares
• Conjuntos de Decisão de Nó (Nó)-Um algoritmo de aprendizado profundo de última geração para dados tabulares
• Redes de densidade de mistura: regressão probabilística para estimativa de incerteza

Roteiro futuro (as contribuições são bem -vindas)

1. Integrar o ajuste do hyperparâmetro optuna
2. Migre datamodule para polares ou nvtabular para um carregamento de dados mais rápido e para manusear conjuntos de dados maiores que o RAM.
3. Adicione Gaussrank como transformação de recurso
4. Tenha uma API compatível com Scikit-Learn
5. Habilitar suporte para classificação de vários rótulos
6. Continue adicionando mais arquiteturas

Colaboradores

Manu Joseph	Jirka Borovec	Jinu Sunil	Programador Artificial	Soren Macbeth	Chris Fonnesbeck
Snehil Chatterjee	Nulo	Abhishar Sinha	Andreas	Charitarth Chugh	Earlee
Nulo	Kushashwa Ravi Shrimali	Luca Actis Grosso	Sterling G. Baird	Teck Meng	Yinyu Nie
Yonybresler	Liu Zhen

Citação

Se você usar o Pytorch Tabular para uma publicação científica, apreciaríamos citações do software publicado e do artigo a seguir:

• papel arxiv

 @misc{joseph2021pytorch,
      title={PyTorch Tabular: A Framework for Deep Learning with Tabular Data},
      author={Manu Joseph},
      year={2021},
      eprint={2104.13638},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

• Citação de software Zenodo

 @software{manu_joseph_2023_7554473,
  author       = {Manu Joseph and
                  Jinu Sunil and
                  Jiri Borovec and
                  Chris Fonnesbeck and
                  jxtrbtk and
                  Andreas and
                  JulianRein and
                  Kushashwa Ravi Shrimali and
                  Luca Actis Grosso and
                  Sterling G. Baird and
                  Yinyu Nie},
  title        = {manujosephv/pytorch_tabular: v1.0.1},
  month        = jan,
  year         = 2023,
  publisher    = {Zenodo},
  version      = {v1.0.1},
  doi          = {10.5281/zenodo.7554473},
  url          = {https://doi.org/10.5281/zenodo.7554473}
}