python keras polynomial deep networks

深網的多項式效率和功率

該項目是一個示例，測試了Rolnick和Tegmark的論文中提出的一些想法，“更深層次的網絡表達自然功能的力量，以及Lin，Tegmark和Rolnick的論文，為什麼深入廉價學習的工作如此之好。

它如何工作的一般思想

總體想法是，儘管長期以來一直表明，所有非線性映射都可以通過至少兩個層的淺網絡來完成，但這可能不是神經元最有效的分配。核心概念取決於分解的概念，並通過評估多項式的網絡表達，當然，這顯然具有明顯的分解潛力。如果我們假設可以通過分解選擇方案來有效地教導網絡來解決優化問題，並且該保理是由典型的反向傳播產生的解決方案，那麼可以通過更好地理解該問題在網絡中如何編碼網絡以及最有效地代表問題的解決方案來大大減少神經元的總數。通常，這種類型的考慮有助於我們選擇實現足夠性能的最小網絡。

實施細節

哈，我必須完成並推動它，請盡快回來！

它與其他想法有何關係

越來越興趣探索最佳網絡。本文的方法和該項目的實驗只是一種機制。探索的其他有趣領域包括使用遺傳算法來突變神經網絡的參數，並通過定義其適應性的量度來控制各個一代的物種成員。馬特·哈維（Matt Harvey）一直在做，並在中等帖子和他的Github倉庫中分享了一些成功。

這個領域有很多新想法。例如，使用機器學習的Google Meta-Article來探索神經網絡架構和相關文章，圖像分類器和神經體系結構搜索的大規模演變通過增強學習。該區域已經成熟了！

所有這些想法都引起了我的極大興趣。自從我開始使用最初使用一個完全連接的網絡來控制的行為克隆機器人開始工作以來，我一直意識到解決許多問題所需的最小網絡實際上相當小。確實，如果您看一下Nvidia的自動駕駛汽車紙的端到端學習，您可能會對網絡的相對較小的尺寸感到驚訝。看到有關Rolnick和Tegmark討論的任意函數方法以及Harvey討論的遺傳算法方法的這項新工作，這是非常令人興奮的。