python keras polynomial deep networks
1.0.0
Dieses Projekt ist ein Beispiel, um einige der Ideen zu testen, die in Rolnick und Tegmarks Papier die Kraft tieferer Netzwerke zum Ausdruck von natürlichen Funktionen sowie Lin, Tegmark und Rolnicks Papier präsentieren. Warum funktioniert tief und billig so gut.
Die allgemeine Idee ist, dass zwar seit langem angegeben ist, dass alle nichtlinearen Zuordnungen mit einem flachen Netzwerk von mindestens zwei Schichten erreicht werden können, dies jedoch möglicherweise nicht die effizienteste Allokation von Neuronen ist. Der Kernbegriff hängt von der Idee der Faktorisierung ab und wird durch ein Netzwerk ausgedrückt, das Polynome bewertet, was natürlich ein ziemlich offensichtliches Faktorisierungspotential hat. Wenn wir annehmen, dass ein Netzwerk effektiv beigebracht werden kann, Optimierungsprobleme durch Factoring bei Factoring eine Option zu lösen, und dass Factoring eine Lösung ist, die sich aus typischer Rückpropagation ergibt, kann die Gesamtzahl der Neuronen dramatisch reduziert werden, indem ein besseres Verständnis dafür ist, wie das Problem im Netzwerk codiert wird und welches Größennetzwerk die Löwen für das Problem für das Problem effektiv darstellen. Im Allgemeinen hilft uns diese Art von Überlegungen, das kleinste Netzwerk auszuwählen, das eine ausreichende Leistung erzielt.
Ha, ich muss fertig werden und es drücken, schau bald wieder vorbei!
Es besteht ein wachsendes Interesse daran, optimale Netzwerke zu erkunden. Der Ansatz dieses Artikels und das Experimentieren in diesem Projekt ist nur ein Mechanismus. Weitere interessante Explorationsbereiche sind die Verwendung genetischer Algorithmen zur Mutation der Parameter des neuronalen Netzwerks und zur Kontrolle der Artenmitglieder über Generationen hinweg, indem ein Maß für ihre Fitness definiert wird. Matt Harvey hat und teilt einige Erfolge in einem mittleren Pfosten und seinem Github -Repo.
Es gibt eine ganze Reihe neuer Ideen in diesem Raum. Nehmen wir zum Beispiel das Google-Meta-Artikeln mithilfe von maschinellem Lernen, um die Architektur der neuronalen Netzwerke und die zugehörigen Artikel in großem Maßstab von Bildklassifizierern und neuronalen Architektursuche mit Verstärkungslernen zu untersuchen. Dieser Bereich ist reif für Explots!
All diese Ideen sind für mich von großem Interesse. Seit ich mit der Arbeit an meinem Verhaltensklon -Roboter begonnen habe, das ursprünglich ein winziges, vollständig verbundenes Netzwerk zur Kontrolle verwendete, war mir bewusst, dass das kleinste Netzwerk, das zur Lösung vieler Probleme benötigt wird, tatsächlich ziemlich klein ist. Wenn Sie sich das Ende von Nvidia ansehen, können Sie über die relativ geringe Größe des Netzwerks überrascht sein. Es ist sehr aufregend zu sehen, dass diese neue Arbeit über die Optimierung von Netzwerken sowohl den von Rolnick und Tegmark diskutierten willkürlichen Funktionsansatz als auch den von Harvey diskutierten genetischen Algorithmusansatz anhand des genetischen Algorithmusansatzes sehen.
