STL VQA

Pembelajaran triplet terstruktur dengan perhatian dipandu pos-tag untuk menjawab pertanyaan visual

Ini adalah kode untuk "Pembelajaran triplet terstruktur dengan perhatian dipandu pos-tag untuk menjawab pertanyaan visual, WACV 2018 (Zhe Wang, Xiaoyi Liu, Liangjian Chen, Limin Wang, Yu Qiao, Xiaohui Xie, Tanpa Bahasa, Perjalanan Kapal Pencatangan dan Perlu Pergi ke Triple dan Perlu Pergi ke dalam Sistem Pos-Tag, Pos-Tag Tanpa Bahasa, tugas.

Jika Anda menemukan kodenya bermanfaat, silakan kutip kertas:

Pembelajaran triplet terstruktur dengan perhatian dipandu pos-tag untuk pertanyaan visual menjawab WACV 2018 (Zhe Wang, Xiaoyi Liu, Liangjian Chen, Limin Wang, Yu Qiao, Xiaohui Xie, Fowlkes Charless)

Jika Anda memiliki umpan balik untuk kode tersebut, silakan hubungi:

Buptwangzhe2012 di Gmail Dot Com

Pertunjukan

Di bawah ini adalah verifikasi efektivitas langkah demi langkah dari metode kami, catatan untuk mempercepat verifikasi, kami menggunakan fitur 7by7 alih -alih fitur 14by14

Metode	V7W	Validasi VQA
Baseline kami	65.6	58.3
+POS Tag Guided Attention (pos-att)	66.3	58.7
+N-gram konvolusional (conv n-gram)	66.2	59.3
+Pos-att +conv n-gram	66.6	59.5
+Pos-att +conv n-gram +triplet-q	66.8	60.1
+Pos-att +conv n-gram +triplet attention-a	67.0	60.1
+Pos-att +conv n-gram +triplet-q +a	67.3	60.2
+Pos-att +conv n-gram +triplet-q-q +a +triplet pembelajaran terstruktur	67.5	60.3

Kinerja model lengkap kami

Metode	V7w memberi tahu	Standar Tes VQA	VQA Test Dev	VQA Test Dev Y/T	VQA Test dev num	Vqa test dev lainnya
Milik kita	68.2	69.6	69.7	81.9	44.3	64.7

Prasyarat

Tensorflow, obor, panda, h5py, ipdb, cv2, pdb, spacy, sklearn, matplotlib, pil, nltk

Demo cepat

Unduh fitur jitu V7W yang dibagikan di https://drive.google.com/open?id=1hofquxw22j8soyje0vuzqxcnuvjd-e9v dan jalankan "cuda_visible_devices = 0 python v7w.py"

Data pra-pemrosesan data

Unduh Visual7W: http://web.stanford.edu/~yukez/visual7w/ dan Glove: http://nlp.stanford.edu/data/wordvecs/glove.6b.zip dari https://github.com/stanfordnlp/glove.zip dari https://github.com/stanfordnlp/glove: https://github.com/stanfordnlp: https://github.com/stanfordnlp: https://github.com/stanfordnlp: https://github.com/stanfordnlp: https:/github.com/stanfordnlp: https:/github.com/stanfordnlp: https://d2j0dndfm3trm.cloudfront.net/resnet-200.t7

python data_preprocessing_7w.py ---data_set jitu

Python prepro_7w.py

th prepro_img_residule.lua

Visualisasi

Arsitektur :

Praktek yang Baik :

Python comparisons_wacv.py

Sampel yang bagus :

python draw_heat_new.py

Sampel yang buruk :

Lisensi

Mit