pytorch_tabular

Pytorch Tabular vise à rendre l'apprentissage en profondeur avec des données tabulaires faciles et accessibles aux cas et aux recherches du monde réel. Les principes fondamentaux derrière la conception de la bibliothèque sont:

• Faible résistance à une résistance
• Personnalisation facile
• Évolutif et plus facile à déployer

Il a été construit sur les épaules de géants comme Pytorch (évidemment) et Pytorch Lightning .

Table des matières

• Installation
• Documentation
• Modèles disponibles
• Usage
• Blogs
• Citation

Installation

Bien que l'installation comprenne Pytorch, le moyen le meilleur et recommandé est d'installer d'abord Pytorch à partir d'ici, en ramassant la bonne version CUDA pour votre machine.

Une fois, vous avez installé Pytorch, utilisez simplement:

pip install -U “pytorch_tabular[extra]”

Pour installer la bibliothèque complète avec des dépendances supplémentaires (poids et biais et tracé).

Et :

pip install -U “pytorch_tabular”

pour les éléments essentiels nus.

Les sources de pytorch_tabular peuvent être téléchargées à partir du Github repo _.

Vous pouvez soit cloner le référentiel public:

git clone git://github.com/manujosephv/pytorch_tabular

Une fois que vous avez une copie de la source, vous pouvez l'installer avec:

 cd pytorch_tabular && pip install .[extra]

Documentation

Pour une documentation complète avec des tutoriels, visitez ReadTheDocs

Modèles disponibles

• Le réseau FeedForward avec la catégorie intégration est un simple réseau FF, mais avec des couches d'intégration pour les colonnes catégorielles.
• Les ensembles de décision inconscients du neuronal pour l'apprentissage en profondeur sur les données tabulaires sont un modèle présenté dans ICLR 2020 et selon les auteurs, les auteurs ont battu des modèles de mise à jour de gradient bien réglés sur de nombreux ensembles de données.
• TABNET: L'apprentissage tabulaire interprétable attentif est un autre modèle sortant de Google Research qui utilise l'attention clairsemée dans plusieurs étapes de prise de décision pour modéliser la sortie.
• Les réseaux de densité de mélange sont un modèle de régression qui utilise des composants gaussiens pour approximer la fonction cible et fournir une prédiction probabiliste hors de la boîte.
• AUTOINT: L'apprentissage automatique des fonctionnalités via des réseaux de neurones auto-attentifs est un modèle qui essaie d'apprendre les interactions entre les fonctionnalités de manière automatisée et de créer une meilleure représentation, puis d'utiliser cette représentation en aval de tâche en aval
• TabTransformateur est une adaptation du modèle de transformateur pour les données tabulaires qui crée des représentations contextuelles pour les caractéristiques catégorielles.
• Transformateur FT de la révision des modèles d'apprentissage en profondeur pour les données tabulaires
• L'ensemble d'arbre additif fermé est une nouvelle architecture d'apprentissage en profondeur efficace à haute performance pour les données tabulaires. Gate utilise un mécanisme de déclenchement, inspiré de GRU, comme unité d'apprentissage de représentation de fonctionnalités avec un mécanisme de sélection de fonctionnalités intégré. Nous le combinons avec un ensemble d'arbres de décision différenciable et non linéaires, redémarré avec une simple agence d'auto-agence pour prédire la production souhaitée.
• Le réseau adaptatif fermé pour l'apprentissage automatisé profond des fonctionnalités (Gandalf) est une version époustouflante de GATE qui est plus efficace et performante que GATE. Gandalf fait de GFLUS la principale unité d'apprentissage, introduisant également certaines accélérations dans le processus. Avec des hyperparamètres très minimes à régler, cela devient un modèle facile à utiliser et à régler.
• DANETS: les réseaux abstraits profonds pour la classification et la régression des données tabulaires sont un composant neuronal nouveau et flexible pour les données tabulaires, appelée couche abstraite (ABSTLAY), qui apprend à regrouper explicitement les caractéristiques d'entrée corrélatives et à générer des caractéristiques de niveau supérieur pour l'abstraction de la sémantique. Un bloc de base spécial est construit en utilisant des absorcs, et nous construisons une famille de réseaux abstraits profonds (DANET) pour la classification et la régression des données tabulaires en empilant ces blocs.

Apprentissage semi-supervisé

• Le Denoiing Autoencoder est un autoencoder qui apprend une représentation des fonctionnalités robuste, pour compenser tout bruit dans l'ensemble de données.

Implémenter des modèles personnalisés

Pour implémenter de nouveaux modèles, consultez le tutoriel How to Implexe New Models. Il couvre les architectures de base et avancées.

Usage

 from pytorch_tabular import TabularModel
from pytorch_tabular . models import CategoryEmbeddingModelConfig
from pytorch_tabular . config import (
    DataConfig ,
    OptimizerConfig ,
    TrainerConfig ,
    ExperimentConfig ,
)

data_config = DataConfig (
    target = [
        "target"
    ],  # target should always be a list.
    continuous_cols = num_col_names ,
    categorical_cols = cat_col_names ,
)
trainer_config = TrainerConfig (
    auto_lr_find = True ,  # Runs the LRFinder to automatically derive a learning rate
    batch_size = 1024 ,
    max_epochs = 100 ,
)
optimizer_config = OptimizerConfig ()

model_config = CategoryEmbeddingModelConfig (
    task = "classification" ,
    layers = "1024-512-512" ,  # Number of nodes in each layer
    activation = "LeakyReLU" ,  # Activation between each layers
    learning_rate = 1e-3 ,
)

tabular_model = TabularModel (
    data_config = data_config ,
    model_config = model_config ,
    optimizer_config = optimizer_config ,
    trainer_config = trainer_config ,
)
tabular_model . fit ( train = train , validation = val )
result = tabular_model . evaluate ( test )
pred_df = tabular_model . predict ( test )
tabular_model . save_model ( "examples/basic" )
loaded_model = TabularModel . load_model ( "examples/basic" )

Blogs

• Pytorch Tabular - Un cadre pour l'apprentissage en profondeur pour les données tabulaires
• Ensembles de décision inconscient du neuronal (nœud) - un algorithme d'apprentissage en profondeur de pointe pour les données tabulaires
• Réseaux de densité de mélange: régression probabiliste pour l'estimation de l'incertitude

Future feuille de route (les contributions sont les bienvenues)

1. Intégrer le réglage de l'hyperparamètre Optuna
2. Migrez le Datamodule vers des polaires ou NVTABULAR pour un chargement de données plus rapide et pour gérer les ensembles de données plus grands que RAM.
3. Ajouter Gaussrank comme transformation des fonctionnalités
4. Avoir une API compatible Scikit-Learn
5. Activer la prise en charge de la classification multi-étiquettes
6. Continuez à ajouter plus d'architectures

Contributeurs

Manu Joseph	Jirka Borovec	Jinu Sunil	Programme artificiel	Soren Macbeth	Chris Fonnesbeck
Snehil Chatterjee	Nul	Abhishar Sinha	Andreas	Charitarh Chugh	Earlee
Nul	Kushashwa Ravi Shrimali	Luca Actis Grosso	Sterling G. Baird	Teck Meng	Yinyu nie
Yonybreler	Liu Zhen

Citation

Si vous utilisez Pytorch Tabular pour une publication scientifique, nous apprécierions les citations du logiciel publié et du document suivant:

• papier arxiv

 @misc{joseph2021pytorch,
      title={PyTorch Tabular: A Framework for Deep Learning with Tabular Data},
      author={Manu Joseph},
      year={2021},
      eprint={2104.13638},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

• Citation du logiciel Zenodo

 @software{manu_joseph_2023_7554473,
  author       = {Manu Joseph and
                  Jinu Sunil and
                  Jiri Borovec and
                  Chris Fonnesbeck and
                  jxtrbtk and
                  Andreas and
                  JulianRein and
                  Kushashwa Ravi Shrimali and
                  Luca Actis Grosso and
                  Sterling G. Baird and
                  Yinyu Nie},
  title        = {manujosephv/pytorch_tabular: v1.0.1},
  month        = jan,
  year         = 2023,
  publisher    = {Zenodo},
  version      = {v1.0.1},
  doi          = {10.5281/zenodo.7554473},
  url          = {https://doi.org/10.5281/zenodo.7554473}
}