pytorch_tabular

Pytorch Tabular tiene como objetivo hacer que el aprendizaje profundo con datos tabulares sea fácil y accesible para casos e investigaciones del mundo real por igual. Los principios centrales detrás del diseño de la biblioteca son:

• Usabilidad de baja resistencia
• Personalización fácil
• Escalable y más fácil de implementar

Se ha construido sobre los hombros de gigantes como Pytorch (obviamente) y Pytorch Lightning .

Tabla de contenido

• Instalación
• Documentación
• Modelos disponibles
• Uso
• Blogs
• Citación

Instalación

Aunque la instalación incluye Pytorch, la mejor y recomendada forma es instalar Pytorch desde aquí, recogiendo la versión CUDA correcta para su máquina.

Una vez, tienes instalado Pytorch, solo usa:

pip install -U “pytorch_tabular[extra]”

para instalar la biblioteca completa con dependencias adicionales (pesos y prejuicios y trama).

Y :

pip install -U “pytorch_tabular”

para los elementos esenciales desnudos.

Las fuentes de Pytorch_Tabular se pueden descargar desde el Github repo _.

Puede clonar el repositorio público:

git clone git://github.com/manujosephv/pytorch_tabular

Una vez que tenga una copia de la fuente, puede instalarla con:

 cd pytorch_tabular && pip install .[extra]

Documentación

Para una documentación completa con tutoriales, visite Readthedocs

Modelos disponibles

• La red de FeedForward con la integración de la categoría es una red FF simple, pero con una incrustación de capas para las columnas categóricas.
• Los conjuntos de decisiones ajenas neuronales para el aprendizaje profundo en los datos tabulares es un modelo presentado en ICLR 2020 y según los autores han superado los modelos de impulso de gradiente bien ajustados en muchos conjuntos de datos.
• TABNET: el aprendizaje tabular interpretable atento es otro modelo que sale de Google Research que utiliza la atención escasa en múltiples pasos de toma de decisiones para modelar el resultado.
• Las redes de densidad de mezcla es un modelo de regresión que utiliza componentes gaussianos para aproximar la función objetivo y proporcionar una predicción probabilística fuera de la caja.
• Autoint: el aprendizaje de interacción de características automáticas a través de redes neuronales autoaténticas es un modelo que trata de aprender interacciones entre las características de una manera automatizada y crear una mejor representación y luego usar esta representación en la tarea posterior
• TabTransformer es una adaptación del modelo de transformador para datos tabulares que crea representaciones contextuales para características categóricas.
• Transformador FT de revisar modelos de aprendizaje profundo para datos tabulares
• El conjunto de árboles aditivos cerrados es una nueva arquitectura de aprendizaje profundo de alto rendimiento, parámetros y de aprendizaje profundo computacionalmente eficiente para datos tabulares. Gate utiliza un mecanismo de activación, inspirado en GRU, como una unidad de aprendizaje de representación de características con un mecanismo de selección de características incorporadas. Lo combinamos con un conjunto de árboles de decisión diferenciables y no lineales, volviéndose a poner en marcha con una autoatencia simple para predecir nuestra producción deseada.
• La red adaptativa cerrada para el aprendizaje automático profundo de las características (GANDALF) es una versión reducida de GATE que es más eficiente y funcionando que GATE. Gandalf hace de GFLUS la unidad de aprendizaje principal, también introduce algunas aceleraciones en el proceso. Con hiperparámetros muy mínimos para sintonizar, esto se convierte en un modelo fácil de usar y sintonizar.
• Danets: las redes abstractas profundas para la clasificación y la regresión de datos tabulares son un componente neuronal novedoso y flexible para datos tabulares, llamado capa abstracta (abstlay), que aprende a agrupar explícitamente las características de entrada correlativa y generar características de nivel superior para la abstracción semántica. Se construye un bloque básico especial utilizando abstlays, y construimos una familia de redes abstractas profundas (DANETS) para la clasificación y regresión de datos tabulares al apilar dichos bloques.

Aprendizaje semi-supervisado

• Denoising AutoCoder es un autointerreno que aprende una representación de características robusta, para compensar cualquier ruido en el conjunto de datos.

Implementar modelos personalizados

Para implementar nuevos modelos, consulte el tutorial de cómo implementar nuevos modelos. Cubre arquitecturas básicas y avanzadas.

Uso

 from pytorch_tabular import TabularModel
from pytorch_tabular . models import CategoryEmbeddingModelConfig
from pytorch_tabular . config import (
    DataConfig ,
    OptimizerConfig ,
    TrainerConfig ,
    ExperimentConfig ,
)

data_config = DataConfig (
    target = [
        "target"
    ],  # target should always be a list.
    continuous_cols = num_col_names ,
    categorical_cols = cat_col_names ,
)
trainer_config = TrainerConfig (
    auto_lr_find = True ,  # Runs the LRFinder to automatically derive a learning rate
    batch_size = 1024 ,
    max_epochs = 100 ,
)
optimizer_config = OptimizerConfig ()

model_config = CategoryEmbeddingModelConfig (
    task = "classification" ,
    layers = "1024-512-512" ,  # Number of nodes in each layer
    activation = "LeakyReLU" ,  # Activation between each layers
    learning_rate = 1e-3 ,
)

tabular_model = TabularModel (
    data_config = data_config ,
    model_config = model_config ,
    optimizer_config = optimizer_config ,
    trainer_config = trainer_config ,
)
tabular_model . fit ( train = train , validation = val )
result = tabular_model . evaluate ( test )
pred_df = tabular_model . predict ( test )
tabular_model . save_model ( "examples/basic" )
loaded_model = TabularModel . load_model ( "examples/basic" )

Blogs

• Pytorch Tabular: un marco para el aprendizaje profundo para los datos tabulares
• Conjuntos neuronales de decisión ajena (nodo): un algoritmo de aprendizaje profundo de última generación para datos tabulares
• Redes de densidad de mezcla: regresión probabilística para la estimación de incertidumbre

Future Roadmap (las contribuciones son bienvenidas)

1. Integrar el ajuste de hiperparameter de Optuna
2. Migra DataModule a polares o nvtabulares para una carga de datos más rápida y para manejar conjuntos de datos más grandes que la RAM.
3. Agregar Gaussrank como transformación de características
4. Tener una API compatible con Scikit-Learn
5. Habilitar soporte para la clasificación de múltiples etiquetas
6. Sigue agregando más arquitecturas

Colaboradores

Manu Joseph	Jirka Borovec	Jinu Sunil	Programador artificial	Soren Macbeth	Chris Fonnesbeck
Snehil chatterjee	Nulo	Abhishar Sinha	Andreas	Chugh Chugh	Earlee
Nulo	Kushashwa Ravi Shrimali	Luca Actis Grosso	Sterling G. Baird	Teck Meng	Yinyu nie
Yonybresler	Liu Zhen

Citación

Si usa Pytorch Tabular para una publicación científica, apreciaríamos las citas del software publicado y el siguiente documento:

• papel arxiv

 @misc{joseph2021pytorch,
      title={PyTorch Tabular: A Framework for Deep Learning with Tabular Data},
      author={Manu Joseph},
      year={2021},
      eprint={2104.13638},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

• Cita de software de Zenodo

 @software{manu_joseph_2023_7554473,
  author       = {Manu Joseph and
                  Jinu Sunil and
                  Jiri Borovec and
                  Chris Fonnesbeck and
                  jxtrbtk and
                  Andreas and
                  JulianRein and
                  Kushashwa Ravi Shrimali and
                  Luca Actis Grosso and
                  Sterling G. Baird and
                  Yinyu Nie},
  title        = {manujosephv/pytorch_tabular: v1.0.1},
  month        = jan,
  year         = 2023,
  publisher    = {Zenodo},
  version      = {v1.0.1},
  doi          = {10.5281/zenodo.7554473},
  url          = {https://doi.org/10.5281/zenodo.7554473}
}