python keras polynomial deep networks
1.0.0
Este projeto é um exemplo testando algumas das idéias apresentadas no artigo de Rolnick e Tegmark, o poder das redes mais profundas para expressar funções naturais, bem como Lin, Tegmark e Rolnick's Paper, por que o aprendizado profundo e barato funciona tão bem.
A idéia geral é que, embora tenha sido indicado há muito tempo que todos os mapeamentos não lineares possam ser realizados com uma rede superficial de pelo menos duas camadas, essa pode não ser a alocação mais eficiente de neurônios. A noção central se resume à idéia de fatoração e é expressa através de uma rede que avalia os polinômios, o que obviamente possui um potencial de fatoração bastante óbvio. Se supormos que uma rede pode efetivamente ser ensinada a resolver problemas de otimização, considerando o fatoramento quando é uma opção, e esse fator é uma solução que surge da retropagem típica, o número total de neurônios pode ser drasticamente reduzido, tendo uma melhor compreensão de como o problema será codificado na rede e o tamanho da rede de mais efetivamente representaria as soluções para o problema. Em geral, esse tipo de consideração nos ajuda a escolher a menor rede que atinge desempenho suficiente.
Ha, eu tenho que terminar e empurrá -lo, volte em breve!
Há um interesse crescente em explorar redes ideais. A abordagem deste artigo e a experimentação neste projeto são apenas um mecanismo. Outras áreas interessantes de exploração incluem o uso de algoritmos genéticos para mutações de mutações da rede neural e controlar os membros da espécie nas gerações, definindo uma medida de sua aptidão. Matt Harvey tem feito e compartilha algum sucesso em um post médio e seu repositório do Github.
Há uma série de novas idéias neste espaço. Tomemos, por exemplo, a meta-artícula do Google usando o aprendizado de máquina para explorar a arquitetura de rede neural e os artigos associados evolutivos em larga escala de classificadores de imagem e pesquisa de arquitetura neural com aprendizado de reforço. Esta área está pronta para a explicação!
Todas essas idéias são de grande interesse para mim. Desde que comecei a trabalhar no meu comportamento clonando robô, que originalmente usava uma pequena rede totalmente conectada para controle, soube que a menor rede necessária para resolver muitos problemas é realmente bastante pequena. De fato, se você olhar para o aprendizado final da NVIDIA para o papel de carros autônomos, poderá se surpreender com o tamanho relativamente pequeno da rede. É muito emocionante ver esse novo trabalho sobre a otimização de redes usando a abordagem da função arbitrária, conforme discutido por Rolnick e Tegmark e a abordagem do algoritmo genético, conforme discutido por Harvey.
