attention networks for classification

문서 분류를위한 계층 적주의 네트워크

우리는 문서가 계층 적 구조를 가지고 있으며, 단어를 결합하여 문장과 문장을 결합하여 문서를 형성합니다. 우리는 그 구조를 배울 수 있거나이 계층 구조를 모델에 입력하고 그것이 기존 모델의 성능을 향상시키는 지 확인할 수 있습니다. 이 논문은 분류 모델을 구축하기 위해 그 구조를 이용합니다.

이것은 Pytorch에서 모델의 (가까운) 구현입니다.

메모:

1. 나는 동일한 최적화기로 단어와 문장주의 모델을 모두 공동으로 최적화합니다.
2. 미니 배트에는 0이 0으로 채워져 있습니다. 이것은 개선 될 수 있으며, 길이가 비슷한 센티를 정렬하고 패딩을 최소화 할 수 있습니다.
3. Pytorch는 아직 그라디언트 마스킹을 지원하지 않으므로 패딩 된 0은 역전 중에 그라디언트가 흐르는 그라디언트를 갖습니다. 마스크를 만들 수는 있지만 양방향 GRU 사용에 관심이 있으므로 마스크를 사용할 수 없습니다. 나는 가변 길이 RNN Supoort가 곧 Pytorch에 오는 것을 보았습니다. 업데이트 : Pytorch는 이제 Pack_Padded_Sequence 메소드를 사용하여 마스크 RNN을 supoort합니다.

폭발 블로그 의이 그림은 구조를 완벽하게 설명합니다.

공책

노트북에는 IMDB Movie Review 데이터 세트에서 훈련 된 모델의 예가 포함되어 있습니다. 논문이 언급 한 원래 IMDB 데이터 세트를 얻을 수 없으므로이 데이터를 사용했습니다.

전처리 된 데이터는 여기에서 사용할 수 있습니다

내가 얻은 최고의 정확도는 약 ~ 0.35였습니다. 이 데이터 세트에는 84919 개의 샘플과 10 개의 클래스 만 있습니다. 다음은 데이터 세트의 교육 손실입니다.