Скачать Ensemble Pytorch

Ensemble Pytorch

Питон

v0.2.0

Скачать

./docs/_images/badge_small.png

GitHub

Ансамбль питорх

Унифицированная ансамбльская структура для Pytorch, чтобы легко улучшить производительность и надежность вашей модели глубокого обучения. Ансамблевая пирогация является частью экосистемы Pytorch, которая требует, чтобы проект был в хорошем состоянии.

Документ
Эксперимент

Установка

pip install torchensemble

Пример

 from torchensemble import VotingClassifier  # voting is a classic ensemble strategy

# Load data
train_loader = DataLoader (...)
test_loader = DataLoader (...)

# Define the ensemble
ensemble = VotingClassifier (
    estimator = base_estimator ,               # estimator is your pytorch model
    n_estimators = 10 ,                        # number of base estimators
)

# Set the optimizer
ensemble . set_optimizer (
    "Adam" ,                                 # type of parameter optimizer
    lr = learning_rate ,                       # learning rate of parameter optimizer
    weight_decay = weight_decay ,              # weight decay of parameter optimizer
)

# Set the learning rate scheduler
ensemble . set_scheduler (
    "CosineAnnealingLR" ,                    # type of learning rate scheduler
    T_max = epochs ,                           # additional arguments on the scheduler
)

# Train the ensemble
ensemble . fit (
    train_loader ,
    epochs = epochs ,                          # number of training epochs
)

# Evaluate the ensemble
acc = ensemble . evaluate ( test_loader )         # testing accuracy

Поддерживаемый ансамбль

Имя ансамбля	Тип	Исходный код	Проблема
Слияние	Смешанный	Fusion.py	Классификация / регрессия
Голосование [1]	Параллель	Голосование.py	Классификация / регрессия
Нейронный лес	Параллель	Голосование.py	Классификация / регрессия
Бэк [2]	Параллель	Bagging.py	Классификация / регрессия
Повышение градиента [3]	Последовательный	gradient_boosting.py	Классификация / регрессия
Ансамбль снимка [4]	Последовательный	snapshot_ensemble.py	Классификация / регрессия
Обучение состязания [5]	Параллель	Adversarial_training.py	Классификация / регрессия
Быстрый геометрический ансамбль [6]	Последовательный	fast_geometric.py	Классификация / регрессия
Повышение мягкого градиента [7]	Параллель	soft_gradient_boosting.py	Классификация / регрессия

Зависимости

Scikit-learn> = 0,23,0
TORCH> = 1.4.0
TOCHVISION> = 0,2,2

Ссылка

[1]	Чжоу, Чжи-хуа. Методы ансамбля: основы и алгоритмы. CRC Press, 2012.

[2]	Брейман, Лео. Бэкинг предикторов. Машинное обучение (1996): 123-140.

[3]	Фридман, Джером Х. Гидный Функциональный аппроксимация: машина повышения градиента. Анналы статистики (2001): 1189-1232.

[4]	Huang, Gao, et al. Ансамбли снимка: поезд 1, получите M бесплатно. ICLR, 2017.

[5]	Lakshminarayanan, Balaji, et al. Простая и масштабируемая оценка предсказательной неопределенности с использованием глубоких ансамблей. NIPS, 2017.

[6]	Garipov, Timur, et al. Потери потери, мод подключение и быстрое ансамблирование DNNS. Neurips, 2018.