attention networks for classification

文档分类的分层注意力网络

我们知道文档具有层次结构，单词结合形成句子，句子结合在一起形成文档。我们可以尝试学习该结构，或者我们可以将此层次结构输入到模型中，并查看它是否改善了现有模型的性能。本文利用该结构来构建分类模型。

这是Pytorch中模型的（密切）实现。

笔记：

1. 我通过相同的优化器共同优化单词和句子注意模型。
2. 小匹配物用零填充。可以改进，可以将长度相似的发件人整合在一起，并最小化桨板。
3. Pytorch尚未支持梯度掩蔽，因此填充的零将在反向传播过程中流过它们。一个人可以创建面具，但是由于我有兴趣使用双向gru，因此无法使用口罩。我已经看到可变长度RNN Supoort即将到来。更新：Pytorch现在使用pack_padded_sequence方法进行掩盖的RNN。

爆炸博客的这张照片完美地解释了结构。

笔记本

该笔记本包含IMDB电影评论数据集中训练的模型的示例。我无法获得论文所指的原始IMDB数据集，所以我使用了此数据

预处理数据可在此处找到

我获得的最佳准确性大约为0.35。该数据集只有84919个样本和10个类。这是数据集的培训损失。