attention networks for classification

Redes de atención jerárquica para la clasificación de documentos

Sabemos que los documentos tienen una estructura jerárquica, las palabras se combinan para formar oraciones y oraciones se combinan para formar documentos. Podemos tratar de aprender esa estructura o podemos ingresar esta estructura jerárquica en el modelo y ver si mejora el rendimiento de los modelos existentes. Este documento explota esa estructura para construir un modelo de clasificación.

Esta es una implementación (cercana) del modelo en Pytorch.

Nota:

1. Optimizo conjuntamente los modelos de atención de palabras y oraciones con el mismo optimizador.
2. Los minibatches están acolchados con ceros. Esto se puede mejorar, se puede clasificar las sentadillas con una longitud similar juntas y minimizar los acolchados.
3. Pytorch aún no es compatible con el enmascaramiento de gradiente, por lo que los ceros acolchados tendrán gradientes que fluyen a través de ellos durante la propagación de retroceso. Uno puede crear una máscara, pero como estoy interesado en usar GRU bidireccional, no es posible usar una máscara. He visto que RNN Supoort de longitud variable también llegará pronto a Pytorch. ACTUALIZACIÓN: Pytorch supera RNN enmascarado ahora con el método Pack_padded_Sequence.

Esta imagen del blog de Explosion explica la estructura perfectamente.

Computadora portátil

El cuaderno contiene un ejemplo de modelo capacitado en el conjunto de datos de revisión de películas IMDB. No pude obtener el conjunto de datos IMDB original al que se refiere el documento, por lo que he usado estos datos

Los datos preprocesados ​​están disponibles aquí

La mejor precisión que obtuve fue alrededor de ~ 0.35. Este conjunto de datos tiene solo 84919 muestras y 10 clases. Aquí está la pérdida de capacitación para el conjunto de datos.