python keras polynomial deep networks

深网的多项式效率和功率

该项目是一个示例，测试了Rolnick和Tegmark的论文中提出的一些想法，“更深层次的网络表达自然功能的力量，以及Lin，Tegmark和Rolnick的论文，为什么深入廉价学习的工作如此之好。

它如何工作的一般思想

总体想法是，尽管长期以来一直表明，所有非线性映射都可以通过至少两个层的浅网络来完成，但这可能不是神经元最有效的分配。核心概念取决于分解的概念，并通过评估多项式的网络表达，当然，这显然具有明显的分解潜力。如果我们假设可以通过分解选择方案来有效地教导网络来解决优化问题，并且该保理是由典型的反向传播产生的解决方案，那么可以通过更好地理解该问题在网络中如何编码网络以及最有效地代表问题的解决方案来大大减少神经元的总数。通常，这种类型的考虑有助于我们选择实现足够性能的最小网络。

实施细节

哈，我必须完成并推动它，请尽快回来！

它与其他想法有何关系

越来越兴趣探索最佳网络。本文的方法和该项目的实验只是一种机制。探索的其他有趣领域包括使用遗传算法来突变神经网络的参数，并通过定义其适应性的量度来控制各个一代的物种成员。马特·哈维（Matt Harvey）一直在做，并在中等帖子和他的Github仓库中分享了一些成功。

这个领域有很多新想法。例如，使用机器学习的Google Meta-Article来探索神经网络架构和相关文章，图像分类器和神经体系结构搜索的大规模演变通过增强学习。该区域已经成熟了！

所有这些想法都引起了我的极大兴趣。自从我开始使用最初使用一个完全连接的网络来控制的行为克隆机器人开始工作以来，我一直意识到解决许多问题所需的最小网络实际上相当小。确实，如果您看一下Nvidia的自动驾驶汽车纸的端到端学习，您可能会对网络的相对较小的尺寸感到惊讶。看到有关Rolnick和Tegmark讨论的任意函数方法以及Harvey讨论的遗传算法方法的这项新工作，这是非常令人兴奋的。