python keras polynomial deep networks

Efisiensi dan daya polinomial di jaringan yang dalam

Proyek ini adalah contoh yang menguji beberapa ide yang disajikan dalam makalah Rolnick dan Tegmark, kekuatan jaringan yang lebih dalam untuk mengekspresikan fungsi alami, serta kertas Lin, Tegmark dan Rolnick mengapa pembelajaran yang dalam dan murah bekerja dengan baik.

Gagasan Umum tentang cara kerjanya

Gagasan umum adalah bahwa sementara itu telah lama diindikasikan bahwa semua pemetaan nonlinier dapat dicapai dengan jaringan dangkal setidaknya dua lapisan, ini mungkin bukan alokasi neuron yang paling efisien. Gagasan inti tergantung pada gagasan faktorisasi, dan diekspresikan melalui jaringan yang mengevaluasi polinomial, yang tentu saja memiliki potensi faktorisasi yang cukup jelas. Jika kita mengira bahwa jaringan dapat secara efektif diajarkan untuk menyelesaikan masalah optimisasi dengan memperhitungkan ketika anjak piutang adalah pilihan, dan bahwa anjak piutang adalah solusi yang muncul dari backpropagation yang khas, jumlah total neuron dapat dikurangi secara dramatis dengan memiliki pemahaman yang lebih baik tentang bagaimana masalah akan dikodekan dalam jaringan dan jaringan ukuran apa yang paling efektif mewakili solusi untuk masalah. Secara umum, jenis pertimbangan ini membantu kita memilih jaringan terkecil yang mencapai kinerja yang cukup.

Keterangan implementasi

Ha, saya harus menyelesaikan dan mendorongnya, periksa kembali segera!

Bagaimana hal itu terkait dengan ide -ide lain

Ada minat yang semakin besar dalam mengeksplorasi jaringan optimal. Pendekatan artikel ini dan eksperimen dalam proyek ini hanyalah satu mekanisme. Bidang eksplorasi menarik lainnya termasuk menggunakan algoritma genetika untuk bermutasi parameter jaringan saraf dan mengendalikan anggota spesies lintas generasi dengan mendefinisikan ukuran kebugaran mereka. Matt Harvey telah melakukan dan berbagi beberapa keberhasilan di pos menengah dan repo GitHub -nya.

Ada banyak ide baru di ruang ini. Ambil contoh meta-artikel Google menggunakan pembelajaran mesin untuk mengeksplorasi arsitektur jaringan saraf dan artikel terkait evolusi besar dari pengklasifikasi gambar dan pencarian arsitektur saraf dengan pembelajaran penguatan. Area ini sudah matang untuk eksplotasi!

Semua ide ini sangat menarik bagi saya. Sejak saya mulai mengerjakan robot kloning perilaku saya, yang awalnya menggunakan jaringan kecil yang sepenuhnya terhubung untuk kontrol, saya telah sadar bahwa jaringan terkecil yang diperlukan untuk menyelesaikan banyak masalah sebenarnya cukup kecil. Memang, jika Anda melihat Nvidia's End to End Learning for Self-Driving Cars Paper, Anda mungkin akan terkejut dengan ukuran jaringan yang relatif kecil. Sangat menyenangkan melihat karya baru ini mengenai optimalisasi jaringan menggunakan kedua pendekatan fungsi sewenang -wenang seperti yang dibahas oleh Rolnick dan Tegmark, dan pendekatan algoritma genetika seperti yang dibahas oleh Harvey.