Ensemble Pytorch

فرقة Pytorch

إطار مجموعة موحدة لـ Pytorch لتحسين أداء وقوة نموذج التعلم العميق بسهولة. يعد Ensemble-Pytorch جزءًا من النظام الإيكولوجي Pytorch ، والذي يتطلب الحفاظ على المشروع جيدًا.

• وثيقة
• تجربة

تثبيت

pip install torchensemble

مثال

 from torchensemble import VotingClassifier  # voting is a classic ensemble strategy

# Load data
train_loader = DataLoader (...)
test_loader = DataLoader (...)

# Define the ensemble
ensemble = VotingClassifier (
    estimator = base_estimator ,               # estimator is your pytorch model
    n_estimators = 10 ,                        # number of base estimators
)

# Set the optimizer
ensemble . set_optimizer (
    "Adam" ,                                 # type of parameter optimizer
    lr = learning_rate ,                       # learning rate of parameter optimizer
    weight_decay = weight_decay ,              # weight decay of parameter optimizer
)

# Set the learning rate scheduler
ensemble . set_scheduler (
    "CosineAnnealingLR" ,                    # type of learning rate scheduler
    T_max = epochs ,                           # additional arguments on the scheduler
)

# Train the ensemble
ensemble . fit (
    train_loader ,
    epochs = epochs ,                          # number of training epochs
)

# Evaluate the ensemble
acc = ensemble . evaluate ( test_loader )         # testing accuracy

فرقة مدعومة

اسم الفرقة	يكتب	رمز المصدر	مشكلة
الانصهار	مختلط	Fusion.py	التصنيف / الانحدار
التصويت [1]	موازي	التصويت	التصنيف / الانحدار
الغابة العصبية	موازي	التصويت	التصنيف / الانحدار
تعبئة [2]	موازي	bagging.py	التصنيف / الانحدار
تعزيز التدرج [3]	تسلسلي	gradient_boosting.py	التصنيف / الانحدار
مجموعة اللقطات [4]	تسلسلي	snapshot_ensemble.py	التصنيف / الانحدار
تدريب الخصومة [5]	موازي	inversarial_training.py	التصنيف / الانحدار
فرقة هندسية سريعة [6]	تسلسلي	fast_geometric.py	التصنيف / الانحدار
تعزيز التدرج الناعم [7]	موازي	soft_gradient_boosting.py	التصنيف / الانحدار

التبعيات

• Scikit-Learn> = 0.23.0
• الشعلة> = 1.4.0
• torchvision> = 0.2.2

مرجع

[1]	تشو ، زهي هوا. أساليب الفرقة: الأسس والخوارزميات. CRC Press ، 2012.

[2]	بريمان ، ليو. تنبؤات تعبئة. التعلم الآلي (1996): 123-140.

[3]	فريدمان ، جيروم هـ. تقريب وظيفة الجشع: آلة تعزيز التدرج. حوليات الإحصاء (2001): 1189-1232.

[4]	هوانغ ، قاو ، وآخرون. مجموعات اللقطة: Train 1 ، Get M مجانًا. ICLR ، 2017.

[5]	Lakshminarayanan ، بالاجي ، وآخرون. تقدير عدم اليقين البسيط والقابل للتطوير باستخدام مجموعات عميقة. Nips ، 2017.

[6]	غاريبوف ، تيمور ، وآخرون. أسطح الخسارة ، واتصال الوضع ، والفرقة السريعة من DNNs. Neupips ، 2018.

[7]	فنغ ، جي ، وآخرون. آلة تعزيز التدرج الناعم. Arxiv ، 2020.

شكرا لجميع مساهمينا