

앙상블 파이토치
Pytorch가 딥 러닝 모델의 성능과 견고성을 쉽게 향상시키기위한 통합 앙상블 프레임 워크. Ensemble-Pytorch는 Pytorch Ecosystem의 일부이며 프로젝트를 잘 유지해야합니다.
설치
pip install torchensemble
예
from torchensemble import VotingClassifier # voting is a classic ensemble strategy
# Load data
train_loader = DataLoader (...)
test_loader = DataLoader (...)
# Define the ensemble
ensemble = VotingClassifier (
estimator = base_estimator , # estimator is your pytorch model
n_estimators = 10 , # number of base estimators
)
# Set the optimizer
ensemble . set_optimizer (
"Adam" , # type of parameter optimizer
lr = learning_rate , # learning rate of parameter optimizer
weight_decay = weight_decay , # weight decay of parameter optimizer
)
# Set the learning rate scheduler
ensemble . set_scheduler (
"CosineAnnealingLR" , # type of learning rate scheduler
T_max = epochs , # additional arguments on the scheduler
)
# Train the ensemble
ensemble . fit (
train_loader ,
epochs = epochs , # number of training epochs
)
# Evaluate the ensemble
acc = ensemble . evaluate ( test_loader ) # testing accuracy 지원되는 앙상블
| 앙상블 이름 | 유형 | 소스 코드 | 문제 |
|---|
| 퓨전 | 혼합 | fusion.py | 분류 / 회귀 |
| 투표 [1] | 평행한 | voting.py | 분류 / 회귀 |
| 신경 숲 | 평행한 | voting.py | 분류 / 회귀 |
| 포장 [2] | 평행한 | bagging.py | 분류 / 회귀 |
| 구배 향상 [3] | 잇달아 일어나는 | gradient_boosting.py | 분류 / 회귀 |
| 스냅 샷 앙상블 [4] | 잇달아 일어나는 | Snapshot_ensemble.py | 분류 / 회귀 |
| 적대적 훈련 [5] | 평행한 | adversarial_training.py | 분류 / 회귀 |
| 빠른 기하학적 앙상블 [6] | 잇달아 일어나는 | fast_geometric.py | 분류 / 회귀 |
| 소프트 그라디언트 향상 [7] | 평행한 | soft_gradient_boosting.py | 분류 / 회귀 |
의존성
- scikit-learn> = 0.23.0
- 토치> = 1.4.0
- Torchvision> = 0.2.2
참조
| [1] | Zhou, Zhi-Hua. 앙상블 방법 : 기초 및 알고리즘. CRC Press, 2012. |
| [2] | Breiman, 레오. 포장 예측 자. 머신 러닝 (1996) : 123-140. |
| [3] | Friedman, Jerome H. Greedy 기능 근사 : 그라디언트 부스트 머신. Annals of Statistics (2001) : 1189-1232. |
| [4] | Huang, Gao 등 스냅 샷 앙상블 : Train 1, M을 무료로 받으십시오. ICLR, 2017. |
| [5] | Lakshminarayanan, Balaji 등. 깊은 앙상블을 사용한 간단하고 확장 가능한 예측 불확실성 추정. NIPS, 2017. |
| [6] | Garipov, Timur 등 손실 표면, 모드 연결 및 DNN의 빠른 앙상블. Neurips, 2018. |
| [7] | Feng, JI, et al. 소프트 그라디언트 부스팅 머신. Arxiv, 2020. |
우리의 모든 기고자들에게 감사합니다