python keras polynomial deep networks
1.0.0
このプロジェクトは、RolnickとTegmarkの論文で提示されたいくつかのアイデアをテストした例です。自然な機能を表現するためのより深いネットワークの力、およびLin、Tegmark、Rolnickの論文が深くて安い学習がうまく機能する理由です。
一般的な考え方は、少なくとも2つの層の浅いネットワークですべての非線形マッピングを実現できることが長い間示されてきたが、これはニューロンの最も効率的な割り当てではないかもしれないということです。コアの概念は、因数分解の概念に帰着し、多項式を評価するネットワークを通じて表現されています。ファクタリングがオプションであるときにファクタリングによって最適化の問題を解決するようにネットワークを効果的に教えることができ、ファクタリングが典型的なバックプロパゲーションから生じるソリューションであると仮定した場合、ネットワークで問題がエンコードされ、どのサイズのネットワークが最も効果的に問題を表現するかをよりよく理解することにより、ニューロンの総数を劇的に減らすことができます。一般に、このタイプの考慮事項は、十分なパフォーマンスを達成する最小のネットワークを選択するのに役立ちます。
ハ、私はそれを終えて押しなければなりません、すぐにもう一度チェックしてください！
最適なネットワークを探索することに関心が高まっています。この記事のアプローチとこのプロジェクトの実験は、1つのメカニズムにすぎません。探査の他の興味深い分野には、遺伝的アルゴリズムを使用してニューラルネットワークのパラメーターを変異させ、そのフィットネスの尺度を定義することにより世代を超えて種メンバーを制御することが含まれます。 Matt Harveyは、中規模の投稿とGitHub Repoで成功を収めています。
この分野にはたくさんの新しいアイデアがあります。たとえば、Google Meta-Articleを使用して、機械学習を使用してニューラルネットワークアーキテクチャを探索し、関連する記事で画像分類子と神経アーキテクチャ検索の大規模な進化を強化学習を備えています。このエリアはexplotationの熟しています！
これらのアイデアはすべて、私にとって非常に興味深いものです。元々制御のために小さな完全に接続されたネットワークを使用していた動作クローニングロボットの作業を開始して以来、多くの問題を解決するために必要な最小のネットワークは実際にはかなり小さいことを知っています。確かに、自動運転車の論文のNvidiaの終わりから終わりの学習を見ると、ネットワークの比較的小さなサイズに驚くかもしれません。 RolnickとTegmarkが議論した任意の関数アプローチとHarveyが議論した遺伝的アルゴリズムアプローチの両方を使用して、ネットワークの最適化に関するこの新しい作業を見るのは非常にエキサイティングです。
