attention networks for classification

Hierarchische Aufmerksamkeitsnetzwerke für die Klassifizierung der Dokumente

Wir wissen, dass Dokumente eine hierarchische Struktur haben, Wörter kombinieren zu Sätzen und Sätzen, die zu Dokumenten bilden. Wir können versuchen, diese Struktur zu lernen, oder wir können diese hierarchische Struktur in das Modell eingeben und sehen, ob sie die Leistung vorhandener Modelle verbessert. Dieses Papier nutzt diese Struktur zum Erstellen eines Klassifizierungsmodells.

Dies ist eine (enge) Implementierung des Modells in Pytorch.

Notiz:

1. Ich optimiere gemeinsam sowohl die Aufmerksamkeitsmodelle für Wort als auch Satz mit demselben Optimierer.
2. Die Minibatches sind mit Nullen gepolstert. Dies kann verbessert werden, man kann Sentces mit ähnlicher Länge zusammen sortieren und die Paddings minimieren.
3. Pytorch unterstützt noch keine Gradientenmaskierung, sodass gepolsterte Nullen beim Backpropagation Gradienten aufweisen. Man kann eine Maske erstellen, aber da ich an der Verwendung von bidirektionalem Gru interessiert bin, ist es nicht möglich, eine Maske zu verwenden. Ich habe gesehen, dass die variable Länge RNN Supoort bald auch zum Pytorch kommt. UPDATE: Pytorch macht die Supoort -RNN jetzt mit pack_padded_sequence -Methode maskiert.

Dieses Bild aus dem Explosionsblog erklärt die Struktur perfekt.

Notizbuch

Das Notizbuch enthält ein Beispiel für ein geschultes Modell im IMDB Movie Review -Datensatz. Ich konnte den ursprünglichen IMDB -Datensatz, auf den das Papier Bezug genommen hat, nicht erhalten, daher habe ich diese Daten verwendet

Die vorverarbeiteten Daten sind hier verfügbar

Die beste Genauigkeit, die ich bekam, war ungefähr ~ 0,35. Dieser Datensatz hat nur 84919 Proben und 10 Klassen. Hier ist der Trainingsverlust für den Datensatz.