mixture of experts

Campuran Lapisan Pakar Jarang Terpagar untuk Pytorch

Repositori ini berisi implementasi ulang pytorch dari lapisan MOE yang jarang yang dijelaskan dalam kertas jaringan saraf yang sangat besar untuk Pytorch.

 from moe import MoE
import torch

# instantiate the MoE layer
model = MoE ( input_size = 1000 , output_size = 20 , num_experts = 10 , hidden_size = 66 , k = 4 , noisy_gating = True )

X = torch . rand ( 32 , 1000 )

#train
model . train ()
# forward
y_hat , aux_loss = model ( X )

# evaluation

model . eval ()
y_hat , aux_loss = model ( X )

Persyaratan

Untuk menginstal persyaratan yang dijalankan:

pip install -r requirements.py

Contoh

example.py file.py berisi contoh kerja minimal yang menggambarkan cara melatih dan mengevaluasi lapisan MOE dengan input dan target dummy. Untuk menjalankan contoh:

python example.py

CONFAR 10 Contoh

File cifar10_example.py berisi contoh kerja minimal dari dataset CIFAR 10. Ini mencapai akurasi 39% dengan hyper-parameter sewenang-wenang dan tidak sepenuhnya konvergen. Untuk menjalankan contoh:

python cifar10_example.py

Digunakan oleh

FastMoe: Sistem pelatihan campuran-ekspert yang cepat implementasi ini digunakan sebagai implementasi Pytorch referensi untuk pelatihan GPU tunggal.

Ucapan Terima Kasih

Kode ini didasarkan pada implementasi TensorFlow yang dapat ditemukan di sini.

Mengutip

 @misc{rau2019moe,
    title={Sparsely-gated Mixture-of-Experts PyTorch implementation},
    author={Rau, David},
    journal={https://github.com/davidmrau/mixture-of-experts},
    year={2019}
}