attention networks for classification

Redes de atenção hierárquica para classificação de documentos

Sabemos que os documentos têm uma estrutura hierárquica, as palavras se combinam para formar frases e frases combinadas para formar documentos. Podemos tentar aprender essa estrutura ou podemos inserir essa estrutura hierárquica no modelo e ver se ela melhora o desempenho dos modelos existentes. Este artigo explora essa estrutura para construir um modelo de classificação.

Esta é uma implementação (próxima) do modelo em Pytorch.

Observação:

1. Otimizo em conjunto a palavra e a sentença de modelos de atenção com o mesmo otimizador.
2. Os minibatches são acolchoados com zeros. Isso pode ser aprimorado, pode -se classificar os Senteces com comprimento semelhante juntos e minimizar os padrões.
3. Pytorch ainda não suporta máscara de gradiente, então os zeros acolchoados terão gradientes que fluem através deles durante a retropolulação. Pode -se criar uma máscara, mas como estou interessado em usar o GRU bidirecional, não é possível usar uma máscara. Eu já vi que o comprimento variável RNN Suptoort também está chegando a Pytorch. ATUALIZAÇÃO: O Pytorch mascarou o RNN mascarado agora com o método pack_padded_sequence.

Esta imagem do Blog Explosion explica a estrutura perfeitamente.

Caderno

O notebook contém um exemplo de modelo treinado no conjunto de dados de revisão de filmes do IMDB. Não consegui obter o conjunto de dados IMDB original ao qual o artigo mencionou, então usei esses dados

Os dados pré -processados ​​estão disponíveis aqui

A melhor precisão que recebi foi de ~ 0,35. Este conjunto de dados possui apenas 84919 amostras e 10 classes. Aqui está a perda de treinamento para o conjunto de dados.