STL VQA

Aprendizagem de trigêmeos estruturados com atenção guiada de POS-TAG para resposta visual de perguntas

Este é o código para "Aprendizagem de Tripleto estruturada com atenção guiada por POS para responder a perguntas visuais, WACV 2018 (Zhe Wang, Xiaoyi Liu, Liangjian Chen, Limin Wang, Yu Qiao, Xiaohui Xie, Charless Fowlkes)", a boa prática no sistema VQA, como Posta-tag. e tarefa de linguagem.

Se você achar útil o código, cite o papel:

Aprendizagem de Tripleto estruturada com atenção guiada de POS-Tag para perguntas visuais para responder WACV 2018 (Zhe Wang, Xiaoyi Liu, Liangjian Chen, Limin Wang, Yu Qiao, Xiaohui Xie, Charless Fowlkes)

Se você tiver feedback para o código, entre em contato com:

BUPTWANGZHE2012 no Gmail Dot Com

Desempenho

Abaixo está a verificação passo a passo da eficácia do nosso método, note para acelerar a verificação, usamos o recurso 7BY7 em vez do recurso 14BY14

Método	V7w	Validação VQA
Nossa linha de base	65.6	58.3
+POS Tag Atenção guiada (POS-ATT)	66.3	58.7
+N-Gram convolucional (conv N-Gram)	66.2	59.3
+POS-ATT +CONV N-GRAM	66.6	59.5
+POS-ATT +CONV n-Gram +Triplet Ateption-Q	66.8	60.1
+POS-ATT +CONV n-Gram +Triplet Atenção-A	67.0	60.1
+POS-ATT +CONV n-Gram +Triplet Ateption-q +A	67.3	60.2
+POS-ATT +CONV n-Gram +Triplet Atenção-Q +A +Tripletos de Aprendizagem Estruturada	67.5	60.3

Nosso desempenho completo do modelo

Método	V7w dizendo	Padrão de teste VQA	VQA Test Dev	Teste VQA Dev y/n	VQA teste dev num	VQA teste dev outro
Nosso	68.2	69.6	69.7	81.9	44.3	64.7

Pré-requisito

Tensorflow, tocha, pandas, h5py, ipdb, cv2, pdb, spacy, sklearn, matplotlib, pil, nltk

Demonstração rápida

Faça o download do recurso V7W Telling Shared em https://drive.google.com/open?id=1hofquxw22J8SoyJE0vuzqxcnuvjd-e9v e execute "cuda_visible_devices = 0 python v7w.py"

Pré-processamento de dados

Faça o download do Visual7W: http://web.stanford.edu/~yukez/visual7w/ e luva: http://nlp.stanford.edu/data/wordvecs/glove.6b.zip de https://github.com/stanford/glove.6b.zip de https://github.com/stanford/glove.6b.zip de https://github.com/stanford/glove.6b.zip de https://github.com/stanford/glove.6b.zip de https://github.com/stanford/glove.6b.zip de https://github.com/stanford/glove.6b.zip de https://github.com/stanford/glove.6b.zip: https://d2j0dndfm35trm.cloudfront.net/resnet-200.t7

python data_preprocessing_7w.py -data_set Telling

python prepro_7w.py

th prepro_img_residule.lua

Visualização

Arquitetura :

Boa prática :

Python Comparisons_wacv.py

Boas amostras :

python draw_heat_new.py

Amostras ruins :

Licença

Mit