attention networks for classification

ドキュメント分類のための階層的な注意ネットワーク

ドキュメントには階層構造があり、単語が組み合わされて文を形成し、文章が組み合わさってドキュメントを形成することがわかっています。その構造を学ぶことを試みるか、この階層構造をモデルに入力して、既存のモデルのパフォーマンスを改善するかどうかを確認することができます。この論文は、その構造を活用して分類モデルを構築します。

これは、Pytorchのモデルの（緊密な）実装です。

注記：

1. 同じオプティマイザーを使用して、単語と文の注意モデルの両方を共同で最適化します。
2. ミニバッチにはゼロが詰め込まれています。これを改善することができ、センテックを同じ長さで一緒にソートし、パディングを最小限に抑えることができます。
3. Pytorchはまだ勾配のマスキングをサポートしていないため、パッド入りのゼロはバックプロパゲーション中にそれらを流れる勾配を持っています。マスクを作成できますが、双方向GRUの使用に興味があるため、マスクを使用することはできません。さまざまな長さのRNN SupoortがPytorchにも近づいていることを見てきました。更新：Pytorchは、Pack_padded_sequenceメソッドを使用して、Supoort Masked RNNを使用しています。

爆発ブログのこの写真は、構造を完全に説明しています。

ノート

ノートブックには、IMDBムービーレビューデータセットのトレーニングモデルの例が含まれています。論文が言及した元のIMDBデータセットを入手できなかったので、このデータを使用しました

前処理されたデータはこちらから入手できます

私が得た最高の精度は、約0.35でした。このデータセットには、84919のサンプルと10クラスのみがあります。データセットのトレーニング損失は次のとおりです。