python keras polynomial deep networks

깊은 네트워크의 다항식 효율과 전력

이 프로젝트는 Rolnick과 Tegmark의 논문에 제시된 일부 아이디어를 테스트하는 예입니다. Lin, Tegmark 및 Rolnick의 논문뿐만 아니라 자연적인 기능을 표현하기위한 더 깊은 네트워크의 힘을 테스트하는 예입니다.

그것이 어떻게 작동하는지에 대한 일반적인 아이디어

일반적인 아이디어는 오랫동안 모든 비선형 매핑이 적어도 두 층의 얕은 네트워크로 달성 될 수 있다는 것이 오랫동안 나타 났지만, 이는 뉴런의 가장 효율적인 할당이 아닐 수 있습니다. 핵심 개념은 인수화에 대한 아이디어에 달려 있으며 다항식을 평가하는 네트워크를 통해 표현되며, 이는 물론 분명한 인수화 잠재력을 가지고 있습니다. 인수를 뒷받침 할 때 팩토링을 통해 최적화 문제를 해결하기 위해 네트워크가 효과적으로 가르 칠 수 있다고 가정하고, 팩터링이 전형적인 역전술에서 발생하는 솔루션이라고 생각한다면, 네트워크에서 문제가 어떻게 인코딩 될 것인지를 더 잘 이해함으로써 총 뉴런의 총 수를 극적으로 줄일 수 있습니다. 일반적으로 이러한 유형의 고려 사항은 충분한 성능을 달성하는 가장 작은 네트워크를 선택하는 데 도움이됩니다.

구현의 세부 사항

하, 나는 그것을 끝내고 밀어야한다. 곧 다시 확인하십시오!

그것이 다른 아이디어와 관련된 방법

최적의 네트워크 탐색에 대한 관심이 높아지고 있습니다. 이 기사의 접근 방식 과이 프로젝트의 실험은 하나의 메커니즘 일뿐입니다. 다른 흥미로운 탐사 영역으로는 유전자 알고리즘을 사용하여 신경망의 매개 변수를 돌연변이하고 체력의 척도를 정의하여 세대의 종 구성원을 제어하는 것이 포함됩니다. Matt Harvey는 중간 포스트와 그의 Github Repo에서 일을 해왔으며 약간의 성공을 공유했습니다.

이 공간에는 새로운 아이디어가 많이 있습니다. 예를 들어 신경 네트워크 아키텍처를 탐색하기 위해 머신 러닝을 사용하는 Google 메타 항성 및 강화 학습을 통해 이미지 분류기 및 신경 아키텍처 검색의 대규모 진화를 탐색하는 데있어 이 지역은 탐험을 위해 익었습니다!

이 모든 아이디어는 나에게 큰 관심을 가지고 있습니다. 원래 제어를 위해 작은 완전히 연결된 네트워크를 사용한 행동 복제 로봇 작업을 시작한 이래로 많은 문제를 해결하는 데 필요한 가장 작은 네트워크가 실제로 상당히 작다는 것을 알고 있습니다. 실제로, Nvidia의 자율 주행 자동차 종이에 대한 Nvidia의 끝에서 종말 학습을 보면, 비교적 작은 규모의 네트워크에 놀랄 수 있습니다. Rolnick 및 Tegmark가 논의한 임의의 기능 접근법과 Harvey가 논의한 유전자 알고리즘 접근법을 사용하여 네트워크 최적화와 관련 하여이 새로운 작업을 보는 것은 매우 흥미 롭습니다.