pytorch_tabular

Pytorch Tabular bertujuan untuk membuat pembelajaran yang mendalam dengan data tabel mudah dan dapat diakses oleh kasus dan penelitian dunia nyata. Prinsip -prinsip inti di balik desain perpustakaan adalah:

• Kegunaan resistansi rendah
• Kustomisasi Mudah
• Scalable dan lebih mudah digunakan

Telah dibangun di atas bahu raksasa seperti Pytorch (jelas), dan Pytorch Lightning .

Daftar isi

• Instalasi
• Dokumentasi
• Model yang tersedia
• Penggunaan
• Blog
• Kutipan

Instalasi

Meskipun instalasi termasuk Pytorch, cara terbaik dan direkomendasikan adalah dengan terlebih dahulu menginstal Pytorch dari sini, mengambil versi CUDA yang tepat untuk mesin Anda.

Setelah, Anda sudah menginstal Pytorch, cukup gunakan:

pip install -U “pytorch_tabular[extra]”

Untuk menginstal perpustakaan lengkap dengan dependensi tambahan (bobot & bias & plotly).

Dan :

pip install -U “pytorch_tabular”

untuk hal -hal penting yang telanjang.

Sumber untuk pytorch_tabular dapat diunduh dari Github repo _.

Anda dapat mengkloning repositori publik:

git clone git://github.com/manujosephv/pytorch_tabular

Setelah Anda memiliki salinan sumbernya, Anda dapat menginstalnya dengan:

 cd pytorch_tabular && pip install .[extra]

Dokumentasi

Untuk dokumentasi lengkap dengan tutorial, kunjungi readthedocs

Model yang tersedia

• Jaringan FeedForward dengan penyematan kategori adalah jaringan FF sederhana, tetapi dengan lapisan embedding untuk kolom kategorikal.
• Ansambel keputusan yang tidak waras saraf untuk pembelajaran mendalam pada data tabel adalah model yang disajikan pada ICLR 2020 dan menurut penulis telah mengalahkan model meningkatkan gradien yang disesuaikan dengan banyak kumpulan data.
• TABNET: Pembelajaran tabel yang dapat ditafsirkan dengan penuh perhatian adalah model lain yang keluar dari Google Research yang menggunakan perhatian jarang dalam beberapa langkah pengambilan keputusan untuk memodelkan output.
• Jaringan kepadatan campuran adalah model regresi yang menggunakan komponen Gaussian untuk memperkirakan fungsi target dan memberikan prediksi probabilistik di luar kotak.
• Autoint: Pembelajaran Interaksi Fitur Otomatis Melalui Neural Networks Self-Atentive adalah model yang mencoba mempelajari interaksi antara fitur dengan cara otomatis dan membuat representasi yang lebih baik dan kemudian menggunakan representasi ini dalam tugas hilir
• TabTransformer adalah adaptasi dari model transformator untuk data tabel yang menciptakan representasi kontekstual untuk fitur kategorikal.
• FT Transformer dari meninjau kembali model pembelajaran mendalam untuk data tabel
• Gated Aditif Tree Ensemble adalah novel berkinerja tinggi, parameter, dan arsitektur pembelajaran mendalam yang efisien secara komputasi untuk data tabel. Gate menggunakan mekanisme gating, terinspirasi dari GRU, sebagai unit pembelajaran representasi fitur dengan mekanisme pemilihan fitur yang dibangun. Kami menggabungkannya dengan ansambel pohon keputusan non-linear yang dapat dibedakan, di-weighted dengan perhatian diri yang sederhana untuk memprediksi output yang kami inginkan.
• Gated Adaptive Network untuk pembelajaran fitur otomatis (GANDALF) adalah versi gerbang yang lebih efisien dan berkinerja daripada gerbang. Gandalf menjadikan GFLU sebagai unit pembelajaran utama, juga memperkenalkan beberapa speed-up dalam prosesnya. Dengan hiperparameter yang sangat minim untuk disesuaikan, ini menjadi model yang mudah digunakan dan disesuaikan.
• DANETS: Jaringan abstrak yang dalam untuk klasifikasi dan regresi data tabel adalah komponen saraf yang baru dan fleksibel untuk data tabel, yang disebut abstrak lapisan (abstlay), yang belajar untuk secara eksplisit mengelompokkan fitur input korelatif dan menghasilkan fitur tingkat lebih tinggi untuk abstraksi semantik. Blok dasar khusus dibangun menggunakan abstlays, dan kami membangun keluarga jaringan abstrak yang dalam (danets) untuk klasifikasi dan regresi data tabel dengan menumpuk blok tersebut.

Pembelajaran semi-diawasi

• Denoising Autoencoder adalah autoencoder yang mempelajari representasi fitur yang kuat, untuk mengkompensasi kebisingan apa pun dalam dataset.

Menerapkan model khusus

Untuk mengimplementasikan model baru, lihat Tutorial Cara Menerapkan Model Baru. Ini mencakup arsitektur dasar maupun canggih.

Penggunaan

 from pytorch_tabular import TabularModel
from pytorch_tabular . models import CategoryEmbeddingModelConfig
from pytorch_tabular . config import (
    DataConfig ,
    OptimizerConfig ,
    TrainerConfig ,
    ExperimentConfig ,
)

data_config = DataConfig (
    target = [
        "target"
    ],  # target should always be a list.
    continuous_cols = num_col_names ,
    categorical_cols = cat_col_names ,
)
trainer_config = TrainerConfig (
    auto_lr_find = True ,  # Runs the LRFinder to automatically derive a learning rate
    batch_size = 1024 ,
    max_epochs = 100 ,
)
optimizer_config = OptimizerConfig ()

model_config = CategoryEmbeddingModelConfig (
    task = "classification" ,
    layers = "1024-512-512" ,  # Number of nodes in each layer
    activation = "LeakyReLU" ,  # Activation between each layers
    learning_rate = 1e-3 ,
)

tabular_model = TabularModel (
    data_config = data_config ,
    model_config = model_config ,
    optimizer_config = optimizer_config ,
    trainer_config = trainer_config ,
)
tabular_model . fit ( train = train , validation = val )
result = tabular_model . evaluate ( test )
pred_df = tabular_model . predict ( test )
tabular_model . save_model ( "examples/basic" )
loaded_model = TabularModel . load_model ( "examples/basic" )

Blog

• Pytorch Tabular - Kerangka kerja untuk pembelajaran mendalam untuk data tabel
• Neural Introbious Decision Ensemble (Node)-Algoritma pembelajaran mendalam canggih untuk data tabel
• Jaringan Kepadatan Campuran: Regresi Probabilistik untuk Estimasi Ketidakpastian

Roadmap masa depan (kontribusi dipersilakan)

1. Mengintegrasikan penyetelan hyperparameter optuna
2. Migrasi datamodule ke polar atau nvtabular untuk pemuatan data yang lebih cepat dan untuk menangani lebih besar dari set data RAM.
3. Tambahkan GaussRank sebagai transformasi fitur
4. Memiliki API yang kompatibel dengan scikit-learn
5. Aktifkan dukungan untuk klasifikasi multi-label
6. Terus menambahkan lebih banyak arsitektur

Kontributor

Manu Joseph	Jirka Borovec	Jinu Sunil	Programador Buatan	Soren Macbeth	Chris Fonnesbeck
Snehil Chatterjee	Batal	Abhishar Sinha	Andreas	CHARITTH CHUGH	Earlee
Batal	Kushashwa Ravi Shrimali	Luca Actis Grosso	Sterling G. Baird	Teck Meng	Yinyu nie
Yonybresler	Liu Zhen

Kutipan

Jika Anda menggunakan Pytorch Tabular untuk publikasi ilmiah, kami akan menghargai kutipan untuk perangkat lunak yang diterbitkan dan makalah berikut:

• kertas arxiv

 @misc{joseph2021pytorch,
      title={PyTorch Tabular: A Framework for Deep Learning with Tabular Data},
      author={Manu Joseph},
      year={2021},
      eprint={2104.13638},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

• Kutipan Perangkat Lunak Zenodo

 @software{manu_joseph_2023_7554473,
  author       = {Manu Joseph and
                  Jinu Sunil and
                  Jiri Borovec and
                  Chris Fonnesbeck and
                  jxtrbtk and
                  Andreas and
                  JulianRein and
                  Kushashwa Ravi Shrimali and
                  Luca Actis Grosso and
                  Sterling G. Baird and
                  Yinyu Nie},
  title        = {manujosephv/pytorch_tabular: v1.0.1},
  month        = jan,
  year         = 2023,
  publisher    = {Zenodo},
  version      = {v1.0.1},
  doi          = {10.5281/zenodo.7554473},
  url          = {https://doi.org/10.5281/zenodo.7554473}
}