python keras polynomial deep networks
1.0.0
Ce projet est un exemple de test de certaines des idées présentées dans l'article de Rolnick et Tegmark la puissance des réseaux plus profonds pour exprimer des fonctions naturelles, ainsi que le document de Lin, Tegmark et Rolnick Pourquoi l'apprentissage profond et bon marché fonctionne si bien.
L'idée générale est que même si elle a longtemps été indiquée que tous les mappages non linéaires peuvent être accomplis avec un réseau peu profond d'au moins deux couches, ce n'est peut-être pas l'attribution la plus efficace des neurones. La notion centrale se résume à l'idée de factorisation et est exprimée par un réseau qui évalue les polynômes, qui ont bien sûr un potentiel de factorisation assez évident. Si nous supposons qu'un réseau peut être enseigné efficacement à résoudre les problèmes d'optimisation en affortant lorsque l'affacturage est une option, et que l'affacturage est une solution qui découle de la rétropropagation typique, le nombre total de neurones peut être considérablement réduit en ayant une meilleure compréhension du problème du problème. En général, ce type de considération nous aide à choisir le plus petit réseau qui atteint des performances suffisantes.
Ha, je dois finir et le pousser, revenez bientôt!
Il y a un intérêt croissant à explorer des réseaux optimaux. L'approche de cet article et l'expérimentation de ce projet ne sont qu'un seul mécanisme. D'autres domaines d'exploration intéressants comprennent l'utilisation d'algorithmes génétiques pour muter les paramètres du réseau neuronal et contrôler les membres de l'espèce à travers les générations en définissant une mesure de leur forme physique. Matt Harvey a fait et partage un certain succès dans un poteau moyen et son dépôt GitHub.
Il y a toute une série de nouvelles idées dans cet espace. Prenez par exemple la méta-article Google utilisant l'apprentissage automatique pour explorer l'architecture du réseau neuronal et les articles associés à grande échelle d'évolution des classificateurs d'images et de la recherche d'architecture neuronale avec apprentissage en renforcement. Cette zone est mûre pour l'explocation!
Toutes ces idées m'intéressent un grand intérêt. Depuis que j'ai commencé à travailler sur mon robot de clonage de comportement, qui utilisait à l'origine un minuscule réseau entièrement connecté pour le contrôle, je suis conscient que le plus petit réseau nécessaire pour résoudre de nombreux problèmes est en fait assez petit. En effet, si vous regardez le papier de fin de fin de Nvidia pour l'apprentissage pour les voitures autonomes, vous pourriez être surpris par la taille relativement petite du réseau. Il est très excitant de voir cette nouvelle œuvre concernant l'optimisation des réseaux en utilisant à la fois l'approche de la fonction arbitraire telle que discutée par Rolnick et Tegmark, et l'approche de l'algorithme génétique tel que discuté par Harvey.
