pytorch_tabular

Pytorch Tabular стремится сделать глубокое обучение с помощью табличных данных легким и доступным для реальных случаев и исследований. Основными принципами дизайна библиотеки являются:

• Низкое сопротивление удобство использования
• Легкая настройка
• Масштабируемый и проще в развертывании

Он был построен на плечах гигантов, таких как Pytorch (очевидно), и Pytorch Lightning .

Оглавление

• Установка
• Документация
• Доступные модели
• Использование
• Блоги
• Цитирование

Установка

Хотя установка включает в себя Pytorch, лучший и рекомендуемый способ - это сначала установить Pytorch отсюда, поднимая правильную версию CUDA для вашей машины.

Однажды у вас установлен Pytorch, просто используйте:

pip install -U “pytorch_tabular[extra]”

Чтобы установить полную библиотеку с дополнительными зависимостями (веса и предвзятые и сюжетные).

И :

pip install -U “pytorch_tabular”

для обнаженных предметов первой необходимости.

Источники для pytorch_tabular можно загрузить из Github repo _.

Вы можете либо клонировать общественное хранилище:

git clone git://github.com/manujosephv/pytorch_tabular

Как только у вас есть копия источника, вы можете установить его с:

 cd pytorch_tabular && pip install .[extra]

Документация

Для полной документации с учебными пособиями посетите Readthedocs

Доступные модели

• Сеть при питании с категорией встраивается простая сеть FF, но с встраиваемыми уровнями для категориальных столбцов.
• Нейронные ансамбли для глубокого обучения на табличных данных-это модель, представленная в ICLR 2020, и, по мнению авторов, обыграли хорошо настроенные модели повышения градиента на многих наборах данных.
• Tabnet: Внимательное интерпретируемое табличное обучение - это еще одна модель, выходящая из Google Research, которая использует разреженное внимание во многих этапах принятия решений для моделирования вывода.
• Сети плотности смеси - это регрессионная модель, которая использует гауссовые компоненты для приближения целевой функции и обеспечения вероятностного прогноза из коробки.
• Autoint: автоматическое обучение взаимодействию с функциями с помощью самостоятельных нейронных сетей-это модель, которая пытается изучить взаимодействие между функциями автоматизированным образом и создать лучшее представление, а затем использовать это представление в нижнем задании
• TabTransformer - это адаптация модели трансформатора для табличных данных, которая создает контекстные представления для категориальных функций.
• FT Transformer от пересмотра моделей глубокого обучения для табличных данных
• Ансамбль с добавлением аддитивного дерева-это новый высокопроизводительный, параметры и вычислительно эффективную архитектуру глубокого обучения для табличных данных. Gate использует механизм стробирования, вдохновленный GRU, в качестве блока обучения представления признаков с встроенным механизмом выбора признаков. Мы объединяем его с ансамблем дифференцируемых, нелинейных деревьев принятия решений, которые разоблачены с простым примером, чтобы предсказать желаемый результат.
• Грубчатая адаптивная сеть для глубокого автоматического изучения функций (Gandalf) является ускоренной версией Gate, которая является более эффективной и выполняющей, чем Gate. Гандальф делает GFLUS основным учебным подразделением, также вводя в процесс некоторых ускорений. С очень минимальными гиперпараметрами для настройки, это становится простым в использовании и настройке модели.
• DANETS: Глубокие абстрактные сети для классификации и регрессии табличных данных-это новый и гибкий нейронный компонент для табличных данных, называемый абстрактным слоем (Abstlay), который учится явно в групповой корреляционной входной функции и генерирует функции более высокого уровня для абстракции семантики. Специальный базовый блок построен с использованием Abstlays, и мы строим семейство глубоких абстрактных сетей (DANETS) для классификации и регрессии табличных данных путем укладки таких блоков.

Полуопервизированное обучение

• Denoising AutoEncoder - это автоэкодер, который изучает надежное представление функций, чтобы компенсировать любой шум в наборе данных.

Реализовать пользовательские модели

Для реализации новых моделей см. Как реализовать новое руководство по моделям. Он охватывает как основные, так и передовые архитектуры.

Использование

 from pytorch_tabular import TabularModel
from pytorch_tabular . models import CategoryEmbeddingModelConfig
from pytorch_tabular . config import (
    DataConfig ,
    OptimizerConfig ,
    TrainerConfig ,
    ExperimentConfig ,
)

data_config = DataConfig (
    target = [
        "target"
    ],  # target should always be a list.
    continuous_cols = num_col_names ,
    categorical_cols = cat_col_names ,
)
trainer_config = TrainerConfig (
    auto_lr_find = True ,  # Runs the LRFinder to automatically derive a learning rate
    batch_size = 1024 ,
    max_epochs = 100 ,
)
optimizer_config = OptimizerConfig ()

model_config = CategoryEmbeddingModelConfig (
    task = "classification" ,
    layers = "1024-512-512" ,  # Number of nodes in each layer
    activation = "LeakyReLU" ,  # Activation between each layers
    learning_rate = 1e-3 ,
)

tabular_model = TabularModel (
    data_config = data_config ,
    model_config = model_config ,
    optimizer_config = optimizer_config ,
    trainer_config = trainer_config ,
)
tabular_model . fit ( train = train , validation = val )
result = tabular_model . evaluate ( test )
pred_df = tabular_model . predict ( test )
tabular_model . save_model ( "examples/basic" )
loaded_model = TabularModel . load_model ( "examples/basic" )

Блоги

• Pytorch Tabular - основа для глубокого обучения для табличных данных
• Нейронные ансамбли принятия решений (узел)-современный алгоритм глубокого обучения для табличных данных
• Сети плотности смеси: вероятностная регрессия для оценки неопределенности

Будущая дорожная карта (взносы приветствуются)

1. Интегрируйте настройку гиперпараметра Optuna
2. Перенесите DataModule на поляры или NVTabular для более быстрой загрузки данных и для обработки наборов данных более крупных, чем RAM.
3. Добавить Gaussrank в качестве преобразования функций
4. Иметь совместимый с Scikit-learn API
5. Включить поддержку для классификации с несколькими маршрутами
6. Продолжайте добавлять больше архитектур

Участники

Ману Джозеф	Джирка Боровек	Джину Сунил	Programador Artificial	Сорен Макбет	Крис Фоннесбек
Снехил Чаттерджи	Нулевой	Абхишар Синха	Андреас	Чаритарт Чу	Эрли
Нулевой	Кушашва Рави Шримали	Лука Актис Гроссо	Стерлинг Г. Бэйрд	Тек Мэн	Yinyu Nie
Йонибреслер	Лю Чжэнь

Цитирование

Если вы используете Pytorch Tabular для научной публикации, мы будем признателен о цитировании опубликованного программного обеспечения и следующей статье:

• Arxiv Paper

 @misc{joseph2021pytorch,
      title={PyTorch Tabular: A Framework for Deep Learning with Tabular Data},
      author={Manu Joseph},
      year={2021},
      eprint={2104.13638},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

• Zenodo Software Citation

 @software{manu_joseph_2023_7554473,
  author       = {Manu Joseph and
                  Jinu Sunil and
                  Jiri Borovec and
                  Chris Fonnesbeck and
                  jxtrbtk and
                  Andreas and
                  JulianRein and
                  Kushashwa Ravi Shrimali and
                  Luca Actis Grosso and
                  Sterling G. Baird and
                  Yinyu Nie},
  title        = {manujosephv/pytorch_tabular: v1.0.1},
  month        = jan,
  year         = 2023,
  publisher    = {Zenodo},
  version      = {v1.0.1},
  doi          = {10.5281/zenodo.7554473},
  url          = {https://doi.org/10.5281/zenodo.7554473}
}