Federated Learning PyTorch

フェデレーションラーニング（Pytorch）

バニラ連合学習論文の実装：分散データからのディープネットワークのコミュニケーション効率の高い学習。

実験は、Mnist、Fashion Mnist、CIFAR10（IIDおよび非IIDの両方）で作成されます。非IIDの場合、ユーザー間のデータを均等にまたは不平等に分割できます。

これらの実験の目的は、連合学習パラダイムの有効性を説明することであるため、MLPやCNNなどの単純なモデルのみが使用されます。

要件

要件からすべてのパッケージをインストールします。txt

• Python3
• Pytorch
• Torchvision

データ

• トレーニングデータセットとテストデータセットを手動でダウンロードすると、TorchVisionデータセットから自動的にダウンロードされます。
• 実験は、Mnist、Fashion Mnist、Cifarで実行されます。
• 独自のデータセットを使用するには：データセットをデータディレクトリに移動し、Pytorch Datasetクラスでラッパーを書き込みます。

実験を実行します

ベースライン実験は、従来の方法でモデルを訓練します。

• CPUを使用してMLPでMNISTを使用したベースライン実験を実行するには：

 python src/baseline_main.py --model=mlp --dataset=mnist --epochs=10

• またはGPUで実行するには（例：GPU：0が利用可能な場合）：

 python src/baseline_main.py --model=mlp --dataset=mnist --gpu=0 --epochs=10

---

Federated Experimentには、多くのローカルモデルを使用してグローバルモデルをトレーニングすることが含まれます。

• CNN（IID）でCIFARを使用したフェデレート実験を実行するには：

 python src/federated_main.py --model=cnn --dataset=cifar --gpu=0 --iid=1 --epochs=10

• 非IID条件下で同じ実験を実行するには：

 python src/federated_main.py --model=cnn --dataset=cifar --gpu=0 --iid=0 --epochs=10

他のパラメーターのデフォルト値を変更して、さまざまな条件をシミュレートできます。オプションセクションを参照してください。

オプション

実験に解析されたさまざまなパラメーターのデフォルト値は、 options.pyで与えられます。詳細には、これらのパラメーターの一部が与えられます。

• --dataset:デフォルト： 'Mnist'。オプション：「mnist」、「fmnist」、「cifar」
• --model:デフォルト： 'MLP'。オプション：「MLP」、「CNN」
• --gpu:デフォルト：なし（CPUで実行）。特定のGPU IDに設定することもできます。
• --epochs:トレーニングのラウンド数。
• --lr:デフォルトで0.01に設定された学習率。
• --verbose:詳細なログ出力。デフォルトでアクティブ化され、0に設定して非アクティブ化します。
• --seed:ランダムシード。デフォルト設定1に設定します。

フェデレーションパラメーター

• --iid:ユーザー間のデータの分布。 IIDに設定したデフォルト。非IIDの場合は0に設定します。
• --num_users:ユーザー数。デフォルトは100です。
• --frac:フェデレーションアップデートに使用されるユーザーの割合。デフォルトは0.1です。
• --local_ep:各ユーザーのローカルトレーニングエポックの数。デフォルトは10です。
• --local_bs:各ユーザーのローカルアップデートのバッチサイズ。デフォルトは10です。
• --unequal:非IID設定で使用。ユーザー間でデータを均等にまたは不平等に分割するオプション。等しい分割のデフォルト設定0に設定されています。不均等なスプリット用に1に設定します。

Mnistの結果

ベースライン実験：

この実験では、従来の方法で単一のモデルをトレーニングすることが含まれます。

パラメーター：

• Optimizer: ：： SGD
• Learning Rate: 0.01

Table 1:エポックのトレーニング後のテスト精度：

モデル	テストACC
MLP	92.71％
CNN	98.42％

---

フェデレーション実験：

この実験では、フェデレーション設定でグローバルモデルをトレーニングすることが含まれます。

フェデレーションパラメーター（デフォルト値）：

• Fraction of users (C) ：0.1
• Local Batch size (B) ：10
• Local Epochs (E) ：10
• Optimizer ：SGD
• Learning Rate ：0.01
  

Table 2:グローバルエポックのトレーニング後のテスト精度：

モデル	iid	非IID（等しい）
MLP	88.38％	73.49％
CNN	97.28％	75.94％

さらなる測定値

論文：

• 連合学習：課題、方法、将来の方向
• 分散データからのディープネットワークの通信効率の高い学習
• プライバシーが異なる深い学習

ブログ投稿：

• CMU MLDブログ投稿：フェデレーションラーニング：課題、方法、将来の方向
• リーフ：フェデレーション設定のベンチマーク（CMU）
• Tensorflow Federated
• Google AIブログ投稿