pytorch_tabular

Pytorch Tabularは、表形式のデータを使用した深い学習を、実際のケースと研究に同様に簡単にアクセスできるようにすることを目指しています。図書館の設計の背後にある中核的な原則は次のとおりです。

• 低抵抗の使いやすさ
• 簡単なカスタマイズ
• スケーラブルで展開しやすい

それは、 Pytorch （明らかに）やPytorch Lightningのような巨人の肩の上に建てられています。

目次

• インストール
• ドキュメント
• 利用可能なモデル
• 使用法
• ブログ
• 引用

インストール

インストールにはPytorchが含まれていますが、最良かつ推奨される方法は、最初にPytorchをここからインストールし、マシンに適したCUDAバージョンをピックアップすることです。

一度、Pytorchをインストールしました。使用するだけです。

pip install -U “pytorch_tabular[extra]”

余分な依存関係を備えた完全なライブラリをインストールするには（重みとバイアス＆プロット）。

そして ：

pip install -U “pytorch_tabular”

裸の必需品のために。

pytorch_tabularのソースはGithub repo _からダウンロードできます。

パブリックリポジトリをクローンすることができます。

git clone git://github.com/manujosephv/pytorch_tabular

ソースのコピーを取得したら、以下でインストールできます。

 cd pytorch_tabular && pip install .[extra]

ドキュメント

チュートリアルの完全なドキュメントについては、Readthedocsをご覧ください

利用可能なモデル

• カテゴリ埋め込みを備えたFeedforwardネットワークは、単純なFFネットワークですが、カテゴリ列には埋め込み層があります。
• 表形式データの深い学習のためのニューラル忘却の決定アンサンブルは、ICLR 2020で提示されたモデルであり、著者によると、多くのデータセットでよく調整された勾配ブーストモデルを打ち負かしています。
• Tabnet：注意深い解釈可能な表学習は、出力をモデル化するために意思決定の複数のステップでまばらな注意を払うGoogle Researchから出てくる別のモデルです。
• 混合密度ネットワークは、ガウスコンポーネントを使用してターゲット関数を近似し、ボックスから確率的予測を提供する回帰モデルです。
• オートポイント：自己慣習的なニューラルネットワークを介した自動機能の相互作用学習は、機能間の相互作用を自動化し、より良い表現を作成し、下流タスクでこの表現を使用しようとするモデルです。
• TabRentransformerは、カテゴリ機能のコンテキスト表現を作成する表形式データのトランスモデルの適応です。
• 表形式データのディープラーニングモデルの再訪からのFT変圧器
• ゲートアディティブツリーアンサンブルは、表形式データのための新しい高性能、パラメーター、計算効率の良いディープラーニングアーキテクチャです。 GATEは、組み込みの機能選択メカニズムを備えた特徴表現学習ユニットとして、GRUからインスピレーションを受けたゲーティングメカニズムを使用します。私たちはそれを微分可能で非線形の決定木のアンサンブルと組み合わせます。これは、単純な自己告発で再重視され、望ましい出力を予測します。
• 深い自動化された機能（ガンダルフ）のためのゲート適応ネットワークは、GATEよりも効率的でパフォーマンスのあるGATEの削除バージョンです。 GandalfはGflusをメイン学習ユニットにし、その過程でいくつかのスピードアップも導入します。チューニングするための非常に最小限のハイパーパラメーターを使用すると、これは使いやすいモデルになります。
• Danets：表形式データの分類と回帰のための深い抽象的なネットワークは、抽象層（Abstlay）と呼ばれる表形式データの斬新で柔軟な神経成分であり、相関入力機能を明示的にグループ化し、セマンティクス抽象化のための高レベルの特徴を生成することを学びます。 Abstlaysを使用して特別な基本ブロックが構築されており、そのようなブロックを積み重ねて表形式のデータ分類と回帰のために、深い抽象的なネットワーク（Danets）のファミリーを構築します。

半教師の学習

• 非自動エンコーダーは、データセット内のノイズを補正するための堅牢な特徴表現を学習する自動エンコーダーです。

カスタムモデルを実装します

新しいモデルを実装するには、新しいモデルのチュートリアルを実装する方法を参照してください。基本的なアーキテクチャと高度なアーキテクチャをカバーしています。

使用法

 from pytorch_tabular import TabularModel
from pytorch_tabular . models import CategoryEmbeddingModelConfig
from pytorch_tabular . config import (
    DataConfig ,
    OptimizerConfig ,
    TrainerConfig ,
    ExperimentConfig ,
)

data_config = DataConfig (
    target = [
        "target"
    ],  # target should always be a list.
    continuous_cols = num_col_names ,
    categorical_cols = cat_col_names ,
)
trainer_config = TrainerConfig (
    auto_lr_find = True ,  # Runs the LRFinder to automatically derive a learning rate
    batch_size = 1024 ,
    max_epochs = 100 ,
)
optimizer_config = OptimizerConfig ()

model_config = CategoryEmbeddingModelConfig (
    task = "classification" ,
    layers = "1024-512-512" ,  # Number of nodes in each layer
    activation = "LeakyReLU" ,  # Activation between each layers
    learning_rate = 1e-3 ,
)

tabular_model = TabularModel (
    data_config = data_config ,
    model_config = model_config ,
    optimizer_config = optimizer_config ,
    trainer_config = trainer_config ,
)
tabular_model . fit ( train = train , validation = val )
result = tabular_model . evaluate ( test )
pred_df = tabular_model . predict ( test )
tabular_model . save_model ( "examples/basic" )
loaded_model = TabularModel . load_model ( "examples/basic" )

ブログ

• Pytorch Tabular - 表形式データの深い学習のためのフレームワーク
• ニューラルオブリビアな決定アンサンブル（ノード） - 表形式データの最先端の深い学習アルゴリズム
• 混合密度ネットワーク：不確実性推定のための確率的回帰

将来のロードマップ（貢献は大歓迎です）

1. Optuna HyperParameterチューニングを統合します
2. データモジュールを極性またはnvtabularに移動して、データの負荷を高速化し、RAMデータセットよりも大きい処理します。
3. 特徴変換としてGaussrankを追加します
4. scikit-learn互換性のあるAPIを持っています
5. マルチラベル分類のサポートを有効にします
6. アーキテクチャを追加し続けてください

貢献者

マヌ・ジョセフ	Jirka Borovec	ジヌ・スニル	プログラム人工	ソレン・マクベス	クリス・フォーンズベック
Snehil Chatterjee	ヌル	Abhishar Sinha	アンドレアス	Charitarth Chugh	Earlee
ヌル	Kushashwa Ravi Shrimali	Luca Actis Grosso	スターリングG.ベアード	Teck Meng	Yinyu nie
Yonybresler	Liu Zhen

引用

科学的出版物にPytorch Tabularを使用する場合は、公開されたソフトウェアと次の論文の引用に感謝します。

• arxiv紙

 @misc{joseph2021pytorch,
      title={PyTorch Tabular: A Framework for Deep Learning with Tabular Data},
      author={Manu Joseph},
      year={2021},
      eprint={2104.13638},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

• Zenodoソフトウェアの引用

 @software{manu_joseph_2023_7554473,
  author       = {Manu Joseph and
                  Jinu Sunil and
                  Jiri Borovec and
                  Chris Fonnesbeck and
                  jxtrbtk and
                  Andreas and
                  JulianRein and
                  Kushashwa Ravi Shrimali and
                  Luca Actis Grosso and
                  Sterling G. Baird and
                  Yinyu Nie},
  title        = {manujosephv/pytorch_tabular: v1.0.1},
  month        = jan,
  year         = 2023,
  publisher    = {Zenodo},
  version      = {v1.0.1},
  doi          = {10.5281/zenodo.7554473},
  url          = {https://doi.org/10.5281/zenodo.7554473}
}