python keras polynomial deep networks

Полиномиальная эффективность и мощность в глубоких сетях

Этот проект является примером тестирования некоторых идей, представленных в бумаге Рольника и Тегмарка, сила более глубоких сетей для выражения естественных функций, а также бумаги Лин, Тегмарк и Рольника, почему глубоко и дешево работает обучение.

Общее представление о том, как это работает

Общая идея состоит в том, что, хотя давно указано, что все нелинейные отображения могут быть выполнены с неглубокой сетью, по крайней мере, двумя уровнями, это может быть не наиболее эффективным распределением нейронов. Основное понятие сводится к идее факторизации и выражается через сеть, которая оценивает полиномы, которые, конечно, имеют совершенно очевидный потенциал факторизации. Если мы предполагаем, что сеть может эффективно учиться решать проблемы оптимизации путем факторинга, когда факторинг является вариантом, и этот факторинг является решением, которое возникает из -за типичного обратного распространения, общее количество нейронов может быть значительно сокращено, чтобы лучше понять, как проблема будет кодирована в сети, и какой сеть размер будет наиболее эффективно представлять решения. В целом, этот тип рассмотрения помогает нам выбрать самую маленькую сеть, которая достигает достаточной производительности.

Подробности реализации

Ха, я должен закончить и нажать его, зайдите в ближайшее время!

Как это связано с другими идеями

Растет интерес к изучению оптимальных сетей. Подход этой статьи и эксперименты в этом проекте являются лишь одним механизмом. Другие интересные области исследования включают в себя использование генетических алгоритмов для мутированных параметров нейронной сети и контроля членов вида в разных поколениях, определяя меру их пригодности. Мэтт Харви занимался и разделяет некоторый успех в среднем посте и его репо.

В этом пространстве есть целый ряд новых идей. Возьмем, к примеру, мета-артистику Google с использованием машинного обучения для изучения архитектуры нейронной сети и связанных статей крупномасштабной эволюции классификаторов изображений и поиска нейронной архитектуры с обучением подкрепления. Эта область созрела для взрыва!

Все эти идеи представляют для меня большой интерес. С тех пор, как я начал работать над своим роботом клонирования поведения, который первоначально использовал крошечную полностью подключенную сеть для управления, я знал, что самая маленькая сеть, которая необходима для решения многих проблем, на самом деле довольно мала. Действительно, если вы посмотрите на обучение NVIDIA в конце концов для бумаги для самостоятельного вождения, вы можете быть удивлены относительно небольшим размером сети. Очень интересно видеть эту новую работу, касающуюся оптимизации сетей, используя как подход произвольной функции, как обсуждалось Ролник и Тегмарк, и подход генетического алгоритма, обсуждаемый Харви.