pytorch_tabular

Pytorch表格旨在通过表格数据和研究案例和研究都可以易于访问，以使其深入学习。图书馆设计背后的核心原则是：

• 低阻力可用性
• 简单的自定义
• 可扩展且易于部署

它是在Pytorch （显然）和Pytorch Lightning等巨人的肩膀上建造的。

目录

• 安装
• 文档
• 可用型号
• 用法
• 博客
• 引用

安装

尽管安装包括Pytorch，但最好和推荐的方法是首先从此处安装Pytorch，为您的计算机拾取正确的CUDA版本。

有一次，您已经安装了Pytorch，只需使用：

pip install -U “pytorch_tabular[extra]”

要安装具有额外依赖性的完整库（权重和偏见和情节）。

和 ：

pip install -U “pytorch_tabular”

对于裸露的必需品。

可以从Github repo _下载pytorch_tabular的来源。

您可以克隆公共存储库：

git clone git://github.com/manujosephv/pytorch_tabular

一旦获得了源的副本，就可以安装它：

 cd pytorch_tabular && pip install .[extra]

文档

有关教程的完整文档，请访问readthedocs

可用型号

• 带有类别嵌入的FeedForward网络是一个简单的FF网络，但具有分类列的嵌入层。
• 对表格数据进行深入学习的神经遗忘决策集合是ICLR 2020中介绍的模型，根据作者的说法，在许多数据集上都击败了良好的梯度增强模型。
• TABNET：细心解释的表格学习是Google研究中的另一个模型，该模型在决策制定的多个步骤中使用稀疏的注意来建模输出。
• 混合密度网络是一个回归模型，它使用高斯组件来近似目标函数并在开箱即用提供概率预测。
• 自动点：通过自动神经网络进行自动功能交互学习是一种模型，它试图以自动化方式学习功能之间的互动并创建更好的表示形式，然后在下游任务中使用此表示
• TabTransFormer是对表格数据的变压器模型的改编，该模型为分类特征创建上下文表示。
• FT变压器从重新审视图表数据的深度学习模型
• 门控添加树合奏是一种新颖的高性能，参数和计算有效的深度学习体系结构，用于表格数据。 Gate使用GRU启发的门控机制作为具有内置特征选择机制的特征表示学习单元。我们将其与一组不同的非线性决策树结合在一起，并以简单的自我发挥重新加权，以预测我们所需的输出。
• 用于深度自动化功能的封闭自适应网络（Gandalf）是拨号版本的版本，它比门更有效，更具性能。甘道夫（Gandalf）使GFLUS成为主要学习部门，也引入了此过程中的一些加速度。随着非常最小的超参数调整，这变得易于使用并调整模型。
• DANETS：用于表格数据分类和回归的深层抽象网络是一种新颖且灵活的神经组件，用于表格数据，称为Abstract Layer（Abstlay），该数据学会了明确的组相关输入特征并为语义抽象生成更高级别的特征。使用弃牌构建了一个特殊的基本块，我们通过堆叠此类块来构建一个深层抽象网络（DANETS），以进行表格数据分类和回归。

半监督学习

• Denoising AutoCododer是一种自动编码器，可以学习强大的功能表示，以补偿数据集中的任何噪声。

实施自定义模型

要实现新模型，请参见如何实现新模型教程。它涵盖了基本和高级体系结构。

用法

 from pytorch_tabular import TabularModel
from pytorch_tabular . models import CategoryEmbeddingModelConfig
from pytorch_tabular . config import (
    DataConfig ,
    OptimizerConfig ,
    TrainerConfig ,
    ExperimentConfig ,
)

data_config = DataConfig (
    target = [
        "target"
    ],  # target should always be a list.
    continuous_cols = num_col_names ,
    categorical_cols = cat_col_names ,
)
trainer_config = TrainerConfig (
    auto_lr_find = True ,  # Runs the LRFinder to automatically derive a learning rate
    batch_size = 1024 ,
    max_epochs = 100 ,
)
optimizer_config = OptimizerConfig ()

model_config = CategoryEmbeddingModelConfig (
    task = "classification" ,
    layers = "1024-512-512" ,  # Number of nodes in each layer
    activation = "LeakyReLU" ,  # Activation between each layers
    learning_rate = 1e-3 ,
)

tabular_model = TabularModel (
    data_config = data_config ,
    model_config = model_config ,
    optimizer_config = optimizer_config ,
    trainer_config = trainer_config ,
)
tabular_model . fit ( train = train , validation = val )
result = tabular_model . evaluate ( test )
pred_df = tabular_model . predict ( test )
tabular_model . save_model ( "examples/basic" )
loaded_model = TabularModel . load_model ( "examples/basic" )

博客

• pytorch表格 - 图表数据深度学习的框架
• 神经遗忘的决策集合（节点） - 一种用于表格数据的最先进的深度学习算法
• 混合密度网络：不确定性估计的概率回归

未来的路线图（欢迎捐款）

1. 集成Optuna超参数调整
2. 迁移Datamodule到Porars或NVTabular，以更快地加载数据并处理比RAM数据集更大的数据集。
3. 添加Gaussrank作为功能转换
4. 具有Scikit-Learn兼容API
5. 支持多标签分类的支持
6. 继续添加更多的架构

贡献者

马努·约瑟夫	Jirka Borovec	Jinu Sunil	ProgramAdor人工	索伦·麦克白	克里斯·富恩斯贝克（Chris Fonnesbeck）
Snehil Chatterjee	无效的	Abhishar Sinha	安德烈亚斯	合伙人Chugh	厄利
无效的	Kushashwa Ravi Shrimali	卢卡·阿蒂斯·格罗索（Luca Actis Grosso）	Sterling G. Baird	泰克·孟	Yinyu Nie
Yonybresler	刘Zhen

引用

如果您使用Pytorch表格进行科学出版物，我们将感谢已发表的软件和以下论文的引用：

• Arxiv纸

 @misc{joseph2021pytorch,
      title={PyTorch Tabular: A Framework for Deep Learning with Tabular Data},
      author={Manu Joseph},
      year={2021},
      eprint={2104.13638},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

• Zenodo软件引用

 @software{manu_joseph_2023_7554473,
  author       = {Manu Joseph and
                  Jinu Sunil and
                  Jiri Borovec and
                  Chris Fonnesbeck and
                  jxtrbtk and
                  Andreas and
                  JulianRein and
                  Kushashwa Ravi Shrimali and
                  Luca Actis Grosso and
                  Sterling G. Baird and
                  Yinyu Nie},
  title        = {manujosephv/pytorch_tabular: v1.0.1},
  month        = jan,
  year         = 2023,
  publisher    = {Zenodo},
  version      = {v1.0.1},
  doi          = {10.5281/zenodo.7554473},
  url          = {https://doi.org/10.5281/zenodo.7554473}
}