mixture of experts

Pytorch專家層的稀疏門控混合物

該存儲庫包含Pytorch重新實現Pytorch的紙張中稀疏門控的MOE層。

 from moe import MoE
import torch

# instantiate the MoE layer
model = MoE ( input_size = 1000 , output_size = 20 , num_experts = 10 , hidden_size = 66 , k = 4 , noisy_gating = True )

X = torch . rand ( 32 , 1000 )

#train
model . train ()
# forward
y_hat , aux_loss = model ( X )

# evaluation

model . eval ()
y_hat , aux_loss = model ( X )

要求

安裝要求運行：

pip install -r requirements.py

例子

文件example.py包含一個最小的工作示例，說明瞭如何使用虛擬輸入和目標訓練和評估MOE層。運行示例：

python example.py

CIFAR 10示例

文件cifar10_example.py包含CIFAR 10數據集的最小工作示例。它通過任意的超參數且未完全融合，可實現39％的精度。運行示例：

python cifar10_example.py

使用

FastMoE：快速混合了專家訓練系統，該實現被用作單GPU培訓的參考Pytorch實現。

致謝

該代碼基於可以在此處找到的TensorFlow實現。

引用

 @misc{rau2019moe,
    title={Sparsely-gated Mixture-of-Experts PyTorch implementation},
    author={Rau, David},
    journal={https://github.com/davidmrau/mixture-of-experts},
    year={2019}
}