federated learning

Федеративное обучение

Отчасти это воспроизводство документа по вопросам связи с глубокими сетями из децентрализованных данных
Только эксперименты на MNIST и CIFAR10 (как IID, так и без IID) производятся на сегодняшний день.

Примечание. Сценарии будут медленными без реализации параллельных вычислений.

Требования

Python> = 3,6
Pytorch> = 0,4

Бегать

Модели MLP и CNN производятся:

Python main_nn.py

Федеративное обучение с MLP и CNN производится:

python main_fed.py

Смотрите аргументы в Options.py.

Например:

python main_fed.py -dataset mnist -iid -num_channels 1 -модель CNN -EPOCHS 50 - - - -GPU 0

--all_clients для усреднения по всем клиентским моделям

NB: для Cifar-10, num_channels должен быть 3.

Результаты

Мнист

Результаты показаны в таблице 1 и в таблице 2 с параметрами c = 0,1, b = 10, e = 5.

Таблица 1. Результаты 10 эпох тренировок с уровнем обучения 0,01

Модель	Акк. IID	Акк. не-IID
Fedavg-Mlp	94,57%	70,44%
Fedavg-Cnn	96,59%	77,72%

Таблица 2. Результаты 50 эпохах обучения с уровнем обучения 0,01

Модель	Акк. IID	Акк. не-IID
Fedavg-Mlp	97,21%	93,03%
Fedavg-Cnn	98,60%	93,81%

Ackonwledgements

Благодарности дают Youkaichao.

Ссылки

МакМахан, Брендан, Эйдер Мур, Даниэль Рамейдж, Сет Хэмпсон и Блейз Агуэра и Аркас. Коммуникационное изучение глубоких сетей из децентрализованных данных. В искусственном интеллекте и статистике (Aistats), 2017.

Цитировать как

Shaoxiong ji. (2018, 30 марта). Реализация федеративного обучения Pytorch. Зенодо. http://doi.org/10.5281/zenodo.4321561