attention networks for classification

文檔分類的分層注意力網絡

我們知道文檔具有層次結構，單詞結合形成句子，句子結合在一起形成文檔。我們可以嘗試學習該結構，或者我們可以將此層次結構輸入到模型中，並查看它是否改善了現有模型的性能。本文利用該結構來構建分類模型。

這是Pytorch中模型的（密切）實現。

筆記：

1. 我通過相同的優化器共同優化單詞和句子注意模型。
2. 小匹配物用零填充。可以改進，可以將長度相似的發件人整合在一起，並最小化槳板。
3. Pytorch尚未支持梯度掩蔽，因此填充的零將在反向傳播過程中流過它們。一個人可以創建面具，但是由於我有興趣使用雙向gru，因此無法使用口罩。我已經看到可變長度RNN Supoort即將到來。更新：Pytorch現在使用pack_padded_sequence方法進行掩蓋的RNN。

爆炸博客的這張照片完美地解釋了結構。

筆記本

該筆記本包含IMDB電影評論數據集中訓練的模型的示例。我無法獲得論文所指的原始IMDB數據集，所以我使用了此數據

預處理數據可在此處找到

我獲得的最佳準確性大約為0.35。該數據集只有84919個樣本和10個類。這是數據集的培訓損失。