pytorch_tabular

Pytorch Tabular มีจุดมุ่งหมายเพื่อให้การเรียนรู้อย่างลึกซึ้งกับข้อมูลแบบตารางที่ง่ายและเข้าถึงได้สำหรับผู้ป่วยในโลกแห่งความเป็นจริงและการวิจัยเหมือนกัน หลักการสำคัญที่อยู่เบื้องหลังการออกแบบของห้องสมุดคือ:

• ความต้านทานต่ำการใช้งาน
• ปรับแต่งได้ง่าย
• ปรับขนาดได้และง่ายต่อการปรับใช้

มันถูกสร้างขึ้นบนไหล่ของไจแอนต์เช่น Pytorch (เห็นได้ชัด) และ Pytorch Lightning

สารบัญ

• การติดตั้ง
• เอกสาร
• รุ่นที่มีอยู่
• การใช้งาน
• บล็อก
• การอ้างอิง

การติดตั้ง

แม้ว่าการติดตั้งจะรวมถึง Pytorch วิธีที่ดีที่สุดและแนะนำคือการติดตั้ง Pytorch ก่อนจากที่นี่หยิบรุ่น CUDA ที่เหมาะสมสำหรับเครื่องของคุณ

ครั้งหนึ่งคุณได้ติดตั้ง Pytorch เพียงแค่ใช้:

pip install -U “pytorch_tabular[extra]”

ในการติดตั้งไลบรารีที่สมบูรณ์พร้อมการพึ่งพาพิเศษ (น้ำหนักและอคติ & พล็อต)

และ :

pip install -U “pytorch_tabular”

สำหรับสิ่งจำเป็นเปลือย

แหล่งที่มาสำหรับ pytorch_tabular สามารถดาวน์โหลดได้จาก Github repo _

คุณสามารถโคลนพื้นที่เก็บข้อมูลสาธารณะได้:

git clone git://github.com/manujosephv/pytorch_tabular

เมื่อคุณมีสำเนาแหล่งที่มาคุณสามารถติดตั้งด้วย:

 cd pytorch_tabular && pip install .[extra]

เอกสาร

สำหรับเอกสารที่สมบูรณ์พร้อมบทเรียนเยี่ยมชม readthedocs

รุ่นที่มีอยู่

• เครือข่าย Feedforward ที่มีการฝังหมวดหมู่เป็นเครือข่าย FF ที่เรียบง่าย แต่มีเลเยอร์การฝังสำหรับคอลัมน์หมวดหมู่
• การตัดสินใจที่หลงลืมของระบบประสาทสำหรับการเรียนรู้อย่างลึกซึ้งเกี่ยวกับข้อมูลแบบตารางเป็นแบบจำลองที่นำเสนอใน ICLR 2020 และตามที่ผู้เขียนได้เอาชนะโมเดลการเพิ่มความลาดชันที่ปรับแต่งได้ดีในชุดข้อมูลจำนวนมาก
• TABNET: การเรียนรู้แบบตารางที่ตีความได้ดีเป็นรูปแบบอื่นที่ออกมาจาก Google Research ซึ่งใช้ความสนใจที่กระจัดกระจายในหลายขั้นตอนของการตัดสินใจในการสร้างแบบจำลองผลลัพธ์
• เครือข่ายความหนาแน่นของการผสมเป็นแบบจำลองการถดถอยซึ่งใช้ส่วนประกอบเกาส์เซียนเพื่อประมาณฟังก์ชั่นเป้าหมายและให้การทำนายความน่าจะเป็นนอกกรอบ
• Autoint: การเรียนรู้การโต้ตอบกับคุณสมบัติอัตโนมัติผ่านเครือข่ายประสาทเทียมด้วยตนเองเป็นแบบจำลองที่พยายามเรียนรู้การโต้ตอบระหว่างคุณสมบัติในวิธีอัตโนมัติและสร้างการเป็นตัวแทนที่ดีขึ้นแล้วใช้การเป็นตัวแทนนี้ในงานดาวน์สตรีม
• TabTransformer เป็นการปรับตัวของโมเดลหม้อแปลงสำหรับข้อมูลตารางซึ่งสร้างการเป็นตัวแทนตามบริบทสำหรับคุณสมบัติหมวดหมู่
• FT Transformer จากการทบทวนแบบจำลองการเรียนรู้ลึกสำหรับข้อมูลตาราง
• ชุดต้นไม้เสริมที่ Gated เป็นชุดประสิทธิภาพสูงพารามิเตอร์และสถาปัตยกรรมการเรียนรู้ลึกที่มีประสิทธิภาพในการคำนวณสำหรับข้อมูลตาราง Gate ใช้กลไกการ gating ซึ่งได้รับแรงบันดาลใจจาก GRU เป็นหน่วยการเรียนรู้การแสดงคุณสมบัติที่มีกลไกการเลือกคุณสมบัติในตัว เรารวมเข้ากับชุดการตัดสินใจที่แตกต่างและไม่เป็นเชิงเส้นซึ่งถ่วงน้ำหนักด้วยความตั้งใจง่าย ๆ เพื่อทำนายผลงานที่เราต้องการ
• เครือข่ายการปรับตัวแบบ Gated สำหรับการเรียนรู้แบบอัตโนมัติอย่างลึกซึ้งเกี่ยวกับคุณสมบัติ (Gandalf) เป็น GATE รุ่นที่ถูกตัดลงซึ่งมีประสิทธิภาพและมีประสิทธิภาพมากกว่า GATE แกนดัล์ฟทำให้ GFLUs เป็นหน่วยการเรียนรู้หลักและยังแนะนำความเร็วในกระบวนการ ด้วยพารามิเตอร์ที่น้อยที่สุดในการปรับแต่งสิ่งนี้กลายเป็นแบบจำลองที่ใช้งานง่ายและปรับแต่ง
• Danets: เครือข่ายนามธรรมลึกสำหรับการจำแนกข้อมูลแบบตารางและการถดถอยเป็นองค์ประกอบของระบบประสาทที่แปลกใหม่และยืดหยุ่นสำหรับข้อมูลตารางที่เรียกว่าเลเยอร์นามธรรม (Abstlay) ซึ่งเรียนรู้ที่จะจัดกลุ่มคุณสมบัติอินพุตสหสัมพันธ์อย่างชัดเจนและสร้างคุณลักษณะระดับสูงสำหรับนามธรรม semantics บล็อกพื้นฐานพิเศษถูกสร้างขึ้นโดยใช้ Abstlays และเราสร้างตระกูลเครือข่ายนามธรรมลึก (Danets) สำหรับการจำแนกข้อมูลแบบตารางและการถดถอยโดยการซ้อนบล็อกดังกล่าว

การเรียนรู้แบบกึ่งผู้ดูแล

• Denoising AutoEncoder เป็นตัวออกแบบอัตโนมัติที่เรียนรู้การแสดงคุณสมบัติที่แข็งแกร่งเพื่อชดเชยเสียงรบกวนใด ๆ ในชุดข้อมูล

ใช้แบบจำลองที่กำหนดเอง

หากต้องการใช้โมเดลใหม่ให้ดูวิธีการสอนแบบจำลองใหม่ ครอบคลุมสถาปัตยกรรมขั้นพื้นฐานและขั้นสูง

การใช้งาน

 from pytorch_tabular import TabularModel
from pytorch_tabular . models import CategoryEmbeddingModelConfig
from pytorch_tabular . config import (
    DataConfig ,
    OptimizerConfig ,
    TrainerConfig ,
    ExperimentConfig ,
)

data_config = DataConfig (
    target = [
        "target"
    ],  # target should always be a list.
    continuous_cols = num_col_names ,
    categorical_cols = cat_col_names ,
)
trainer_config = TrainerConfig (
    auto_lr_find = True ,  # Runs the LRFinder to automatically derive a learning rate
    batch_size = 1024 ,
    max_epochs = 100 ,
)
optimizer_config = OptimizerConfig ()

model_config = CategoryEmbeddingModelConfig (
    task = "classification" ,
    layers = "1024-512-512" ,  # Number of nodes in each layer
    activation = "LeakyReLU" ,  # Activation between each layers
    learning_rate = 1e-3 ,
)

tabular_model = TabularModel (
    data_config = data_config ,
    model_config = model_config ,
    optimizer_config = optimizer_config ,
    trainer_config = trainer_config ,
)
tabular_model . fit ( train = train , validation = val )
result = tabular_model . evaluate ( test )
pred_df = tabular_model . predict ( test )
tabular_model . save_model ( "examples/basic" )
loaded_model = TabularModel . load_model ( "examples/basic" )

บล็อก

• Pytorch Tabular - กรอบการเรียนรู้อย่างลึกซึ้งสำหรับข้อมูลตาราง
• การตัดสินใจที่หลงทางของระบบประสาท (Node)-อัลกอริทึมการเรียนรู้ลึกที่ล้ำสมัยสำหรับข้อมูลตาราง
• เครือข่ายความหนาแน่นของส่วนผสม: การถดถอยความน่าจะเป็นสำหรับการประมาณความไม่แน่นอน

Roadmap ในอนาคต (ยินดีต้อนรับผลงาน)

1. รวมการปรับแต่งพารามิเตอร์ Optuna Hyperparameter
2. โยกย้าย dataModule ไปยัง polars หรือ nvtabular สำหรับการโหลดข้อมูลที่เร็วขึ้นและเพื่อจัดการชุดข้อมูลที่มีขนาดใหญ่กว่า RAM
3. เพิ่ม Gaussrank เป็นการแปลงคุณลักษณะ
4. มี API ที่เข้ากันได้กับ scikit-learn
5. เปิดใช้งานการรองรับการจำแนกประเภทหลายฉลาก
6. เพิ่มสถาปัตยกรรมมากขึ้นเรื่อย ๆ

ผู้มีส่วนร่วม

มนูโจเซฟ	Jirka Borovec	Jinu Sunil	โปรแกรมประดิษฐ์	Soren Macbeth	Chris Fonnesbeck
Snehil Chatterjee	โมฆะ	Abhishar Sinha	Andreas	Charitarth Chugh	เอิร์นลี
โมฆะ	Kushwa Ravi Shrimali	Luca Actis Grosso	สเตอร์ลิงจีแบร์ด	Teck Meng	Yinyu Nie
Yonybresler	Liu Zhen

การอ้างอิง

หากคุณใช้ Pytorch Tabular สำหรับสิ่งพิมพ์ทางวิทยาศาสตร์เราจะขอบคุณการอ้างอิงไปยังซอฟต์แวร์ที่เผยแพร่และบทความต่อไปนี้:

• กระดาษอาร์กซ์

 @misc{joseph2021pytorch,
      title={PyTorch Tabular: A Framework for Deep Learning with Tabular Data},
      author={Manu Joseph},
      year={2021},
      eprint={2104.13638},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

• การอ้างอิงซอฟต์แวร์ Zenodo

 @software{manu_joseph_2023_7554473,
  author       = {Manu Joseph and
                  Jinu Sunil and
                  Jiri Borovec and
                  Chris Fonnesbeck and
                  jxtrbtk and
                  Andreas and
                  JulianRein and
                  Kushashwa Ravi Shrimali and
                  Luca Actis Grosso and
                  Sterling G. Baird and
                  Yinyu Nie},
  title        = {manujosephv/pytorch_tabular: v1.0.1},
  month        = jan,
  year         = 2023,
  publisher    = {Zenodo},
  version      = {v1.0.1},
  doi          = {10.5281/zenodo.7554473},
  url          = {https://doi.org/10.5281/zenodo.7554473}
}