Federated Learning PyTorch

Federated-learning (pytorch)

Implementasi Makalah Pembelajaran Federasi Vanilla: Pembelajaran yang hemat komunikasi dari jaringan dalam dari data yang terdesentralisasi.

Eksperimen diproduksi pada MNIST, Fashion MNIST dan CIFAR10 (baik IID dan Non-IID). Dalam hal non-IID, data di antara pengguna dapat dibagi secara merata atau tidak merata.

Karena tujuan dari eksperimen ini adalah untuk menggambarkan efektivitas paradigma pembelajaran federasi, hanya model sederhana seperti MLP dan CNN yang digunakan.

Persyaratan

Instal semua paket dari persyaratan.txt

• Python3
• Pytorch
• Torchvision

Data

• Unduh kereta dan uji kumpulan data secara manual atau mereka akan diunduh secara otomatis dari set data TorchVision.
• Eksperimen dijalankan pada MNIST, Fashion MNIST dan CIFAR.
• Untuk menggunakan dataset Anda sendiri: Pindahkan dataset Anda ke direktori data dan tulis pembungkus di kelas dataset PyTorch.

Menjalankan percobaan

Eksperimen dasar melatih model dengan cara konvensional.

• Untuk menjalankan percobaan baseline dengan MNIST pada MLP menggunakan CPU:

 python src/baseline_main.py --model=mlp --dataset=mnist --epochs=10

• Atau menjalankannya di GPU (misalnya: jika GPU: 0 tersedia):

 python src/baseline_main.py --model=mlp --dataset=mnist --gpu=0 --epochs=10

---

Eksperimen federasi melibatkan pelatihan model global menggunakan banyak model lokal.

• Untuk menjalankan percobaan federasi dengan CIFAR di CNN (IID):

 python src/federated_main.py --model=cnn --dataset=cifar --gpu=0 --iid=1 --epochs=10

• Untuk menjalankan percobaan yang sama dalam kondisi non-IID:

 python src/federated_main.py --model=cnn --dataset=cifar --gpu=0 --iid=0 --epochs=10

Anda dapat mengubah nilai default dari parameter lain untuk mensimulasikan kondisi yang berbeda. Lihat bagian Opsi.

Opsi

Nilai default untuk berbagai paramter yang diuraikan ke percobaan diberikan dalam options.py . Detail diberikan beberapa parameter tersebut:

• --dataset: default: 'mnist'. Opsi: 'mnist', 'fmnist', 'cifar'
• --model: Default: 'MLP'. Opsi: 'MLP', 'CNN'
• --gpu: Default: Tidak ada (berjalan di CPU). Dapat juga diatur ke ID GPU tertentu.
• --epochs: Jumlah putaran pelatihan.
• --lr: Tingkat pembelajaran diatur ke 0,01 secara default.
• --verbose: Output log terperinci. Diaktifkan secara default, diatur ke 0 untuk menonaktifkan.
• --seed: Seed acak. Set Default ke 1.

Parameter federasi

• --iid: Distribusi data di antara pengguna. Diatur default ke IID. Diatur ke 0 untuk non-IID.
• --num_users: Jumlah pengguna. Default adalah 100.
• --frac: Fraksi pengguna yang akan digunakan untuk pembaruan federasi. Default adalah 0,1.
• --local_ep: Jumlah zaman pelatihan lokal di setiap pengguna. Default adalah 10.
• --local_bs: Ukuran batch pembaruan lokal di setiap pengguna. Default adalah 10.
• --unequal: Digunakan dalam pengaturan non-IID. Opsi untuk membagi data di antara pengguna secara setara atau tidak sama. Diatur default ke 0 untuk pemisahan yang sama. Diatur ke 1 untuk pemisahan yang tidak setara.

Hasil pada MNIST

Eksperimen Baseline:

Eksperimen ini melibatkan pelatihan model tunggal dengan cara konvensional.

Parameter:

• Optimizer: :: SGD
• Learning Rate: 0,01

Table 1: Akurasi tes setelah pelatihan untuk 10 zaman:

Model	Tes Acc
MLP	92,71%
CNN	98,42%

---

Eksperimen federasi:

Eksperimen ini melibatkan pelatihan model global dalam pengaturan federasi.

Parameter federasi (nilai default):

• Fraction of users (C) : 0.1
• Local Batch size (B) : 10
• Local Epochs (E) : 10
• Optimizer : SGD
• Learning Rate : 0,01
  

Table 2: Tes akurasi setelah pelatihan untuk 10 zaman global dengan:

Model	IID	Non-iid (sama)
MLP	88,38%	73,49%
CNN	97,28%	75,94%

Bacaan lebih lanjut

Dokumen:

• Pembelajaran Federasi: Tantangan, Metode, dan Arah Masa Depan
• Pembelajaran yang efisien komunikasi dari jaringan dalam dari data terdesentralisasi
• Pembelajaran mendalam dengan privasi diferensial

Posting Blog:

• Posting blog CMU MLD: Pembelajaran Federasi: Tantangan, Metode, dan Arah Masa Depan
• Daun: Benchmark untuk Pengaturan Federasi (CMU)
• Tensorflow Federated
• Posting blog Google AI