attention networks for classification

Réseaux d'attention hiérarchiques pour la classification des documents

Nous savons que les documents ont une structure hiérarchique, les mots se combinent pour former des phrases et des phrases se combinent pour former des documents. Nous pouvons essayer d'apprendre cette structure ou nous pouvons saisir cette structure hiérarchique dans le modèle et voir si elle améliore les performances des modèles existants. Cet article exploite cette structure pour construire un modèle de classification.

Il s'agit d'une implémentation (étroite) du modèle dans Pytorch.

Note:

1. J'optimise conjointement les modèles d'attention mot et de phrase avec le même optimiseur.
2. Les minibatchs sont rembourrés de zéros. Cela peut être amélioré, on peut trier les sensibles avec une longueur similaire ensemble et minimiser les paddages.
3. Pytorch ne prend pas encore en charge le masquage de gradient, donc les zéros rembourrés auront des gradients qui les traverseront pendant la rétro-épopagation. On peut créer un masque, mais comme je suis intéressé à utiliser le GRU bidirectionnel, il n'est pas possible d'utiliser un masque. J'ai vu cette longueur variable que RNN Supoort arrivera également bientôt à Pytorch. MISE À JOUR: Pytorch fait désormais Masked RNN avec la méthode Pack_Padded_Sequence.

Cette image du blog d'explosion explique parfaitement la structure.

Carnet de notes

Le cahier contient un exemple de modèle formé sur le jeu de données de révision du film IMDB. Je n'ai pas pu obtenir l'ensemble de données IMDB d'origine auquel le document faisait référence, j'ai donc utilisé ces données

Les données prétraitées sont disponibles ici

La meilleure précision que j'ai obtenue était d'environ 0,35. Cet ensemble de données ne comporte que 84919 échantillons et 10 classes. Voici la perte de formation pour l'ensemble de données.