STL VQA

結構化的三胞胎學習和POS-TAG指導著視覺問題回答

這是“結構化三胞胎學習的守則，pos-tag引導著視覺問題回答，WACV 2018（Zhe Wang，Xiaoyi Liu，Liangjian Chen，Liangjian Chen，Limin Wang，Yu Qiao，Yu Qiao，Yu Qiao，Xiaohui Xie，Charless Fowlkes）”和語言任務。

如果您發現代碼有用，請引用論文：

結構化的三胞胎學習與POS-TAG有關視覺問題的引導關注回答WACV 2018（Zhe Wang，Xiaoyi Liu，Liangjian Chen，Limin Wang，Yu Qiao，Yu Qiao，Xiaohui Xie，Charless Fowlkes）

如果您有代碼的反饋，請聯繫：

buptwangzhe2012在gmail dot com上

表現

以下是我們方法的逐步效率驗證，請注意以加快驗證，我們使用7BY7功能而不是14BY14功能

方法	V7W	VQA驗證
我們的基線	65.6	58.3
+POS標籤引導注意力（POS-ATT）	66.3	58.7
+卷積n-gram（conv n-gram）	66.2	59.3
+pos-att +conv n-gram	66.6	59.5
+pos-att +conv n-gram +三重態	66.8	60.1
+pos-att +conv n-gram +三胞胎注意 - a	67.0	60.1
+pos-att +conv n-gram +triplet注意q +a	67.3	60.2
+pos-att +conv n-gram +三胞胎注意 - q +a +結構化學習三重態	67.5	60.3

我們的完整模型性能

方法	V7W講述	VQA測試標準	VQA測試開發	VQA測試開發DEV Y/N	VQA Test Dev Num	VQA測試開發其他
我們的	68.2	69.6	69.7	81.9	44.3	64.7

先決條件

Tensorflow，火炬，大熊貓，H5PY，IPDB，CV2，PDB，Spacy，Sklearn，Matplotlib，PIL，NLTK

快速演示

下載在https://drive.google.com/open?id=1hofquxw22j8soyje0vuzqxcxcxcnuvjd-e9v上下載V7W講述功能

數據預處理

下載Visual7W：http：//web.stanford.edu/~yukez/visual7w/ and Glove：http：//nlp.stanford.edu/data/data/wordvecs/glove.6b.zip.6b.zip from https：//github.com/stanfordub.com/stanfordnllp/glove下載： https://d2j0dndfm35trm.cloudfront.net/resnet-200.t7

python data_preprocessing_7w.py-data_set告訴

python prepro_7w.py

prepro_img_residule.lua

可視化

建築學：

好練習：

python comparies_wacv.py

好樣本：

python draw_heat_new.py

壞樣品：

執照

麻省理工學院