Experimenting with modularity in deep learning
1.0.0
Proyek ini dilakukan untuk kursus jaringan saraf untuk ilmu data di Sapienza, dengan tujuan untuk memiliki bidang jaringan modular baru-baru ini. Jaringan modular bertujuan untuk memberikan alternatif untuk tecnique seperti distilasi untuk mengurangi waktu pelatihan dan inferensi atau anggaran komputasi keseluruhan yang diberikan oleh arsitektur mendalam yang lebih dalam lebih dalam saat ini.
Jenis jaringan modular yang saya terapkan adalah keluar awal melalui model VGG11 dari awal di keras tensorflow untuk klasifikasi gambar yang diberikan dataset bunga. Lebih khusus lagi saya menambahkan pintu keluar awal yang tetap di arsitektur sebelumnya dan melatih model baru dengan kehilangan entropi salib bersama menggunakan semua prediksi keluar awal dan yang terakhir. Inferensi dilakukan dengan operasi thresholding pada entropi lapisan keluar awal E yang memastikan jika keluar lebih awal atau berlanjut. Lapisan awal-keluar adalah classifier kecil dari dua lapisan berurutan: konvolusi dan yang terhubung sepenuhnya. Cabang keluar awal diimplementasikan setelah setiap blok konvolusional dalam model, dengan total 5, untuk mengeksplorasi lebih banyak arsitektur modular ini.
[1] Mengapa kita harus menambahkan pintu keluar awal ke jaringan saraf?
[2] Deebert: Dinamis awal keluar untuk mempercepat inferensi Bert
[3] Lebih dalam dengan konvolusi
