Federated Learning PyTorch

聯邦學習（Pytorch）

Vanilla聯合學習論文的實施：從分散數據中對深層網絡的溝通效率學習。

實驗是在MNIST，時尚MNIST和CIFAR10（IID和非IID）上生產的。在非IID的情況下，用戶之間的數據可以平等或不平等。

由於這些實驗的目的是說明聯合學習範式的有效性，因此僅使用了簡單的模型，例如MLP和CNN。

要求

從需求安裝所有軟件包.txt

• python3
• Pytorch
• 火炬

數據

• 手動下載火車和測試數據集，否則將自動從Torchvision數據集下載。
• 實驗是在MNIST，時尚MNIST和CIFAR上進行的。
• 要使用自己的數據集：將數據集移至數據目錄，並在Pytorch數據集類別上編寫包裝器。

運行實驗

基線實驗以常規方式訓練模型。

• 使用CPU在MLP上使用MNIST進行基線實驗：

 python src/baseline_main.py --model=mlp --dataset=mnist --epochs=10

• 或在GPU上運行它（例如：如果GPU：0可用）：

 python src/baseline_main.py --model=mlp --dataset=mnist --gpu=0 --epochs=10

---

聯合實驗涉及使用許多本地模型培訓全球模型。

• 在CNN上使用CIFAR進行聯合實驗（IID）：

 python src/federated_main.py --model=cnn --dataset=cifar --gpu=0 --iid=1 --epochs=10

• 在非IID條件下運行相同的實驗：

 python src/federated_main.py --model=cnn --dataset=cifar --gpu=0 --iid=0 --epochs=10

您可以更改其他參數的默認值以模擬不同的條件。請參閱“選項”部分。

選項

在options.py中給出了對實驗分析的各種參數的默認值。詳細信息給出了其中一些參數：

• --dataset:默認值：'mnist'。選項：'mnist'，'fmnist'，'cifar'
• --model:默認值：'MLP'。選項：'MLP'，'CNN'
• --gpu:默認值：無（在CPU上運行）。也可以設置為特定的GPU ID。
• --epochs:訓練次數。
• --lr:默認情況下將學習率設置為0.01。
• --verbose:詳細的日誌輸出。默認情況下激活，設置為0以停用。
• --seed:隨機種子。默認設置為1。

聯合參數

• --iid:用戶之間數據的分佈。默認設置為IID。設置為非IID的0。
• --num_users:用戶數。默認值為100。
• --frac:用於聯合更新的用戶部分。默認值為0.1。
• --local_ep:每個用戶中本地培訓時期的數量。默認值為10。
• --local_bs:每個用戶中本地更新的批量大小。默認值為10。
• --unequal:用於非IID設置。選項將數據平均或不平等之間的用戶之間分配。默認設置為0，以相等的分配。設置為1的不等分割。

MNIST的結果

基線實驗：

該實驗涉及以常規方式訓練單個模型。

參數：

• Optimizer: ：： SGD
• Learning Rate: 0.01

Table 1:訓練後的10個時期的測試準確性：

模型	測試ACC
MLP	92.71％
CNN	98.42％

---

聯合實驗：

該實驗涉及在聯合環境中訓練全球模型。

聯合參數（默認值）：

• Fraction of users (C) ：0.1
• Local Batch size (B) ：10
• Local Epochs (E) ：10
• Optimizer ：SGD
• Learning Rate ：0.01
  

Table 2:訓練10個全球時期後的測試準確性：

模型	IID	非IID（相等）
MLP	88.38％	73.49％
CNN	97.28％	75.94％

進一步閱讀

文件：

• 聯合學習：挑戰，方法和未來方向
• 從分散數據中對深網的溝通有效學習
• 深入學習具有不同的隱私

博客文章：

• CMU MLD博客文章：聯合學習：挑戰，方法和未來方向
• 葉：聯邦設置的基準（CMU）
• tensorflow聯合
• Google AI博客文章