

アンサンブルPytorch
Pytorchがあなたの深い学習モデルのパフォーマンスと堅牢性を簡単に改善するための統一されたアンサンブルフレームワーク。 Ensemble-Pytorchは、Pytorchエコシステムの一部であり、プロジェクトを十分に維持する必要があります。
インストール
pip install torchensemble
例
from torchensemble import VotingClassifier # voting is a classic ensemble strategy
# Load data
train_loader = DataLoader (...)
test_loader = DataLoader (...)
# Define the ensemble
ensemble = VotingClassifier (
estimator = base_estimator , # estimator is your pytorch model
n_estimators = 10 , # number of base estimators
)
# Set the optimizer
ensemble . set_optimizer (
"Adam" , # type of parameter optimizer
lr = learning_rate , # learning rate of parameter optimizer
weight_decay = weight_decay , # weight decay of parameter optimizer
)
# Set the learning rate scheduler
ensemble . set_scheduler (
"CosineAnnealingLR" , # type of learning rate scheduler
T_max = epochs , # additional arguments on the scheduler
)
# Train the ensemble
ensemble . fit (
train_loader ,
epochs = epochs , # number of training epochs
)
# Evaluate the ensemble
acc = ensemble . evaluate ( test_loader ) # testing accuracyサポートされたアンサンブル
| アンサンブル名 | タイプ | ソースコード | 問題 |
|---|
| 融合 | 混合 | Fusion.py | 分類 /回帰 |
| 投票[1] | 平行 | 投票.py | 分類 /回帰 |
| 神経林 | 平行 | 投票.py | 分類 /回帰 |
| 袋詰め[2] | 平行 | Bagging.py | 分類 /回帰 |
| 勾配ブースト[3] | 一連 | gradient_boosting.py | 分類 /回帰 |
| スナップショットアンサンブル[4] | 一連 | snapshot_ensemble.py | 分類 /回帰 |
| 敵対的な訓練[5] | 平行 | aversarial_training.py | 分類 /回帰 |
| 高速幾何学的アンサンブル[6] | 一連 | fast_geometric.py | 分類 /回帰 |
| ソフトグラジエントブースト[7] | 平行 | soft_gradient_boosting.py | 分類 /回帰 |
依存関係
- Scikit-Learn> = 0.23.0
- トーチ> = 1.4.0
- TorchVision> = 0.2.2
参照
| [1] | 周、Zhi-Hua。アンサンブル方法:基礎とアルゴリズム。 CRC Press、2012年。 |
| [2] | ブレイマン、レオ。バギング予測子。機械学習(1996):123-140。 |
| [3] | フリードマン、ジェロームH.貪欲な関数近似:勾配ブーストマシン。 Annals of Statistics(2001):1189-1232。 |
| [4] | Huang、Gao、et al。スナップショットアンサンブル:トレーニング1、無料でMを取得します。 ICLR、2017年。 |
| [5] | Lakshminarayanan、Balaji、et al。深いアンサンブルを使用したシンプルでスケーラブルな予測不確実性推定。 NIPS、2017年。 |
| [6] | ガリポフ、ティムール他損失表面、モード接続、およびDNNSの高速アンサンブル。ニューリップス、2018年。 |
| [7] | Feng、Ji、et al。ソフト勾配ブーストマシン。 Arxiv、2020。 |
すべての貢献者に感謝します