pytorch_tabular

Pytorch tabellarische Ziele zielen darauf ab, Deep-Lernen mit tabellarischen Daten einfach und zugänglich für Fälle in der realen Welt und die Forschung zu machen. Die Kernprinzipien hinter dem Design der Bibliothek sind:

• Verwendbarkeit mit geringer Widerstand
• Einfache Anpassung
• Skalierbar und einfacher bereitzustellen

Es wurde auf den Schultern von Riesen wie Pytorch (offensichtlich) und Pytorch Lightning gebaut.

Inhaltsverzeichnis

• Installation
• Dokumentation
• Verfügbare Modelle
• Verwendung
• Blogs
• Zitat

Installation

Obwohl die Installation Pytorch enthält, besteht die beste und empfohlene Möglichkeit darin, zuerst Pytorch von hier aus zu installieren und die richtige CUDA -Version für Ihren Computer aufzunehmen.

Einmal haben Sie Pytorch installiert. Verwenden Sie einfach:

pip install -U “pytorch_tabular[extra]”

So installieren Sie die vollständige Bibliothek mit zusätzlichen Abhängigkeiten (Gewichte & Vorurteile & Plotly).

Und :

pip install -U “pytorch_tabular”

für das nötige Nötigste.

Die Quellen für pytorch_tabular können aus dem Github repo _ heruntergeladen werden.

Sie können entweder das öffentliche Repository klonen:

git clone git://github.com/manujosephv/pytorch_tabular

Sobald Sie eine Kopie der Quelle haben, können Sie sie mit:

 cd pytorch_tabular && pip install .[extra]

Dokumentation

Für vollständige Dokumentation mit Tutorials finden Sie Readthedocs

Verfügbare Modelle

• Feedforward -Netzwerk mit der Kategorie -Einbettung ist ein einfaches FF -Netzwerk, jedoch mit Einbettungsschichten für die kategorialen Spalten.
• Neuronale Ensembles für die Entscheidung für das Deep-Lernen auf tabellarischen Daten sind ein Modell, das in ICLR 2020 vorgestellt wurde, und haben laut den Autoren gut abgestimmte Gradienten-Boosting-Modelle in vielen Datensätzen geschlagen.
• TABNET: Aufmerksames interpretierbares tabellarisches Lernen ist ein weiteres Modell, das aus Google Research herauskommt, das in mehreren Schritten der Entscheidungsfindung spärlich die Aufmerksamkeit verwendet, um die Ausgabe zu modellieren.
• Mischdichte -Netzwerke sind ein Regressionsmodell, das Gaußsche Komponenten verwendet, um die Zielfunktion zu approximieren und eine probabilistische Vorhersage außerhalb des Box zu liefern.
• Autoint: Automatisches Lernen für Features-Interaktion durch selbstanständige neuronale Netze ist ein Modell, das versucht, Interaktionen zwischen den Merkmalen automatisiert zu lernen und eine bessere Darstellung zu erstellen und diese Darstellung in der nachgelagerten Aufgabe zu verwenden
• Tabransformer ist eine Anpassung des Transformatormodells für tabellarische Daten, die kontextbezogene Darstellungen für kategoriale Merkmale erstellt.
• FT -Transformator vom Überdenken von Deep -Learning -Modellen für tabellarische Daten
• Gated Additive Tree Ensemble ist eine neuartige Hochleistungs-, Parameter- und rechnerisch-effiziente Deep-Learning-Architektur für tabellarische Daten. Gate verwendet einen von Gru als Merkmalsdarstellungslerneinheit inspirierten Gating-Mechanismus mit einem eingebauten Merkmalsauswahlmechanismus. Wir kombinieren es mit einem Ensemble differenzierbarer, nichtlinearer Entscheidungsbäume, die mit einfacher Selbstbekämpfung neu gewichtet sind, um unsere gewünschte Ausgabe vorherzusagen.
• Gated Adaptive Network für tief automatisiertes Lernen von Features (Gandalf) ist eine reduzierte Version von Gate, die effizienter und Leistung als Gate ist. Gandalf macht GFLUS zur Hauptlerneinheit und führt dabei auch einige Geschwindigkeiten ein. Mit sehr minimalen Hyperparametern wird dies zu einem einfach zu bedienenden und melodischen Modell.
• Danets: Deep abstrakte Netzwerke für die klassifizierende Tabression und Regression von tabellarischen Daten sind eine neuartige und flexible neuronale Komponente für tabellarische Daten, die als abstrakte Schicht (ABSTLAY) bezeichnet wird und lernt, korrelative Eingabefunktionen explizit zu gruppieren und Merkmale höherer Ebene für die Semantikabstraktion zu generieren. Ein spezieller Basisblock wird unter Verwendung von Abstlays erstellt, und wir erstellen eine Familie von tiefen abstrakten Netzwerken (Danets) zur Klassifizierung und Regression von Tabellendaten, indem wir solche Blöcke gestapelt haben.

Semi-betriebliches Lernen

• Die Denoising AutoCoder ist ein AutoCoder, der eine robuste Feature -Darstellung lernt, um alle Rauschen im Datensatz zu kompensieren.

Benutzerdefinierte Modelle implementieren

Um neue Modelle zu implementieren, finden Sie in der Tutorial zum Implementieren neuer Modelle. Es deckt sowohl grundlegende als auch fortschrittliche Architekturen ab.

Verwendung

 from pytorch_tabular import TabularModel
from pytorch_tabular . models import CategoryEmbeddingModelConfig
from pytorch_tabular . config import (
    DataConfig ,
    OptimizerConfig ,
    TrainerConfig ,
    ExperimentConfig ,
)

data_config = DataConfig (
    target = [
        "target"
    ],  # target should always be a list.
    continuous_cols = num_col_names ,
    categorical_cols = cat_col_names ,
)
trainer_config = TrainerConfig (
    auto_lr_find = True ,  # Runs the LRFinder to automatically derive a learning rate
    batch_size = 1024 ,
    max_epochs = 100 ,
)
optimizer_config = OptimizerConfig ()

model_config = CategoryEmbeddingModelConfig (
    task = "classification" ,
    layers = "1024-512-512" ,  # Number of nodes in each layer
    activation = "LeakyReLU" ,  # Activation between each layers
    learning_rate = 1e-3 ,
)

tabular_model = TabularModel (
    data_config = data_config ,
    model_config = model_config ,
    optimizer_config = optimizer_config ,
    trainer_config = trainer_config ,
)
tabular_model . fit ( train = train , validation = val )
result = tabular_model . evaluate ( test )
pred_df = tabular_model . predict ( test )
tabular_model . save_model ( "examples/basic" )
loaded_model = TabularModel . load_model ( "examples/basic" )

Blogs

• Pytorch tabular - ein Framework für tiefes Lernen für tabellarische Daten
• Neuronale Ensembles (Knoten)-ein hochmoderner Deep-Lern-Algorithmus für tabellarische Daten
• Mischdichte Netzwerke: Wahrscheinlicher Regression für die Unsicherheitsschätzung

Zukünftige Roadmap (Beiträge sind willkommen)

1. Integrieren
2. Migrieren Sie Datamodule auf Polare oder NVTABULAR, um schnellere Daten zu laden und um größere RAM -Datensätze zu verarbeiten.
3. Fügen Sie Gaußrank als Feature -Transformation hinzu
4. Eine scikit-larn-kompatible API haben
5. Aktivieren Sie die Unterstützung für die Klassifizierung von Multi-Label
6. Fügen Sie immer mehr Architekturen hinzu

Mitwirkende

Manu Joseph	Jirka Borovec	Jinu Sunil	Programmador künstlich	Soren Macbeth	Chris Fonnesbeck
Snehil Chatterjee	NULL	Abhishar Sinha	Andreas	Charitarth Chugh	Earlee
NULL	Kushashwa Ravi Shrimali	Luca Actis Grosso	Sterling G. Baird	Teck Meng	Yinyu Nie
Yonybresler	Liu Zhen

Zitat

Wenn Sie Pytorch Tabar für eine wissenschaftliche Veröffentlichung verwenden, würden wir uns Zitate für die veröffentlichte Software und das folgende Papier freuen:

• Arxiv Papier

 @misc{joseph2021pytorch,
      title={PyTorch Tabular: A Framework for Deep Learning with Tabular Data},
      author={Manu Joseph},
      year={2021},
      eprint={2104.13638},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

• Zenodo -Software -Zitat

 @software{manu_joseph_2023_7554473,
  author       = {Manu Joseph and
                  Jinu Sunil and
                  Jiri Borovec and
                  Chris Fonnesbeck and
                  jxtrbtk and
                  Andreas and
                  JulianRein and
                  Kushashwa Ravi Shrimali and
                  Luca Actis Grosso and
                  Sterling G. Baird and
                  Yinyu Nie},
  title        = {manujosephv/pytorch_tabular: v1.0.1},
  month        = jan,
  year         = 2023,
  publisher    = {Zenodo},
  version      = {v1.0.1},
  doi          = {10.5281/zenodo.7554473},
  url          = {https://doi.org/10.5281/zenodo.7554473}
}