pytorch_tabular

Pytorch Tabular는 Tabular Data를 사용한 딥 러닝을 실제 사례 및 연구에 모두 쉽고 액세스 할 수 있도록하는 것을 목표로합니다. 도서관 설계의 핵심 원칙은 다음과 같습니다.

• 저항 유용성이 낮습니다
• 쉬운 사용자 정의
• 확장 가능하고 배포하기 쉽습니다

그것은 Pytorch (분명히) 및 Pytorch Lightning과 같은 자이언트의 어깨에 세워졌습니다.

목차

• 설치
• 선적 서류 비치
• 사용 가능한 모델
• 용법
• 블로그
• 소환

설치

설치에는 Pytorch가 포함되어 있지만 가장 좋은 방법은 여기에서 Pytorch를 먼저 설치하여 컴퓨터에 적합한 CUDA 버전을 선택하는 것입니다.

일단 Pytorch가 설치된 경우 사용 만하면됩니다.

pip install -U “pytorch_tabular[extra]”

추가 종속성 (가중치 및 바이어스 및 플롯)으로 전체 라이브러리를 설치합니다.

그리고 :

pip install -U “pytorch_tabular”

필수 필수 요소.

pytorch_tabular의 소스는 Github repo _에서 다운로드 할 수 있습니다.

공개 저장소를 복제 할 수 있습니다.

git clone git://github.com/manujosephv/pytorch_tabular

소스 사본이 있으면 다음과 같이 설치할 수 있습니다.

 cd pytorch_tabular && pip install .[extra]

선적 서류 비치

튜토리얼에 대한 전체 문서를 보려면 Readthedocs를 방문하십시오

사용 가능한 모델

• 카테고리 임베딩이있는 피드 포워드 네트워크는 간단한 FF 네트워크이지만 범주 형 열에 대한 임베딩 레이어가 있습니다.
• 표 형식 데이터에 대한 딥 러닝을위한 신경 잊혀진 결정 앙상블은 ICLR 2020에 제시된 모델이며 저자에 따르면 많은 데이터 세트에서 잘 조정 된 그라디언트 부스트 모델을 이겼습니다.
• Tabnet : 세심한 해석 가능한 표식 학습은 출력을 모델링하기 위해 여러 단계의 의사 결정 단계에서 드문주의를 사용하는 Google 연구에서 나오는 또 다른 모델입니다.
• 혼합 밀도 네트워크는 가우시안 구성 요소를 사용하여 대상 기능을 근사하고 상자 밖에서 확률 예측을 제공하는 회귀 모델입니다.
• Autoint : 자체 항목 신경망을 통한 자동 기능 상호 작용 학습은 자동화 된 방식으로 기능 간의 상호 작용을 배우고 더 나은 표현을 만들고 다운 스트림 작업 에서이 표현을 사용하는 모델입니다.
• Tabtransformer는 범주 형 특징에 대한 상황에 맞는 표현을 생성하는 표식 데이터에 대한 변압기 모델의 적응입니다.
• 테이블 데이터에 대한 딥 러닝 모델 재 방문에서 FT 변압기
• 게이트 첨가제 트리 앙상블은 표식 데이터를위한 새로운 고성능, 매개 변수 및 계산 효율적인 딥 러닝 아키텍처입니다. Gate는 GRU에서 영감을 얻은 게이팅 메커니즘을 사용하여 제작 된 기능 선택 메커니즘을 갖춘 기능 표현 학습 단위로 사용합니다. 우리는 그것을 원하는 출력을 예측하기 위해 간단한 자기 변환으로 다시 가중성이있는 차별화 가능한 비선형 의사 결정 트리의 앙상블과 결합합니다.
• GANDALF (Dep Automated Features)를위한 게이트 된 적응 형 네트워크 (GANDALF)는 게이트보다 더 효율적이고 성능이있는 게이트 버전입니다. Gandalf는 GFLUS를 주요 학습 단위로 만들고 프로세스에서 속도를 높이기도합니다. 조정하기 위해 매우 최소한의 초 파라미터를 사용하면 사용하기 쉬운 모델이됩니다.
• DANETS : 표 형식 데이터 분류 및 회귀를위한 깊은 초록 네트워크는 상관 관계 입력 기능을 명시 적으로 그룹화하고 의미론 추상화에 대한 더 높은 수준의 기능을 생성하는 법을 배우는 Tabular Data (Abstrlay)라는 표식 데이터에 대한 참신하고 유연한 신경 구성 요소입니다. 특별한 기본 블록은 Abstlays를 사용하여 구축되며, 이러한 블록을 쌓아서 표 형 데이터 분류 및 회귀를위한 DANET (Deep Abstract Networks) 제품군을 구성합니다.

반 감독 학습

• Denoising Autoencoder는 데이터 세트의 노이즈를 보상하기 위해 강력한 기능 표현을 배우는 자동 인코더입니다.

맞춤형 모델을 구현하십시오

새로운 모델을 구현하려면 새로운 모델 구현 방법 자습서를 참조하십시오. 기본 및 고급 아키텍처를 다룹니다.

용법

 from pytorch_tabular import TabularModel
from pytorch_tabular . models import CategoryEmbeddingModelConfig
from pytorch_tabular . config import (
    DataConfig ,
    OptimizerConfig ,
    TrainerConfig ,
    ExperimentConfig ,
)

data_config = DataConfig (
    target = [
        "target"
    ],  # target should always be a list.
    continuous_cols = num_col_names ,
    categorical_cols = cat_col_names ,
)
trainer_config = TrainerConfig (
    auto_lr_find = True ,  # Runs the LRFinder to automatically derive a learning rate
    batch_size = 1024 ,
    max_epochs = 100 ,
)
optimizer_config = OptimizerConfig ()

model_config = CategoryEmbeddingModelConfig (
    task = "classification" ,
    layers = "1024-512-512" ,  # Number of nodes in each layer
    activation = "LeakyReLU" ,  # Activation between each layers
    learning_rate = 1e-3 ,
)

tabular_model = TabularModel (
    data_config = data_config ,
    model_config = model_config ,
    optimizer_config = optimizer_config ,
    trainer_config = trainer_config ,
)
tabular_model . fit ( train = train , validation = val )
result = tabular_model . evaluate ( test )
pred_df = tabular_model . predict ( test )
tabular_model . save_model ( "examples/basic" )
loaded_model = TabularModel . load_model ( "examples/basic" )

블로그

• Pytorch Tabular - 표 데이터를위한 딥 러닝을위한 프레임 워크
• 신경 망각 결정 앙상블 (노드)-표 데이터에 대한 최첨단 딥 러닝 알고리즘
• 혼합 밀도 네트워크 : 불확실성 추정을위한 확률 론적 회귀

향후 로드맵 (기부금은 환영합니다)

1. Optuna 하이퍼 파라미터 튜닝을 통합하십시오
2. 더 빠른 데이터로드를 위해 Datamodule을 Polar 또는 NVTabular로 마이그레이션하고 RAM 데이터 세트보다 더 큰 처리를합니다.
3. 기능 변환으로 GaussRank를 추가하십시오
4. Scikit-Learn 호환 API가 있습니다
5. 다중 표지 분류를 지원합니다
6. 더 많은 아키텍처를 추가하십시오

기고자

마누 조셉	Jirka Borovec	Jinu Sunil	Programador 인공	소렌 맥베스	Chris Fonnesbeck
Snehil Chatterjee	널	Abhishar Sinha	안드레아스	Charitarth Chugh	이어리
널	쿠샤샤와 라비 슈리 얄리	Luca Actis Grosso	스털링 G. 베어드	Teck Meng	Yinyu Nie
Yonybresler	Liu Zhen

소환

과학적 간행물에 Pytorch Tabular를 사용하는 경우 게시 된 소프트웨어 및 다음 논문에 대한 인용에 감사드립니다.

• Arxiv 종이

 @misc{joseph2021pytorch,
      title={PyTorch Tabular: A Framework for Deep Learning with Tabular Data},
      author={Manu Joseph},
      year={2021},
      eprint={2104.13638},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

• Zenodo 소프트웨어 인용

 @software{manu_joseph_2023_7554473,
  author       = {Manu Joseph and
                  Jinu Sunil and
                  Jiri Borovec and
                  Chris Fonnesbeck and
                  jxtrbtk and
                  Andreas and
                  JulianRein and
                  Kushashwa Ravi Shrimali and
                  Luca Actis Grosso and
                  Sterling G. Baird and
                  Yinyu Nie},
  title        = {manujosephv/pytorch_tabular: v1.0.1},
  month        = jan,
  year         = 2023,
  publisher    = {Zenodo},
  version      = {v1.0.1},
  doi          = {10.5281/zenodo.7554473},
  url          = {https://doi.org/10.5281/zenodo.7554473}
}