STL VQA

التعلم الثلاثي منظم مع الاهتمام بانتباه POS للإجابة على الأسئلة البصرية

هذا هو رمز "التعلم الثلاثي منظم مع الاهتمام بوساطة POS للإجابة على الأسئلة البصرية ، WACV 2018 (Zhe Wang ، Xiaoyi Liu ، Liangjian Chen ، Limin Wang ، Yu Qiao ، Xiaohui Xie ، Fowlkes Charless)" مهمة.

إذا وجدت الرمز مفيدًا ، فيرجى الاستشهاد بالورقة:

التعلم الثلاثي منظم مع انتباه POS-TAG للإجابة على الأسئلة البصرية التي تجيب على WACV 2018 (Zhe Wang ، Xiaoyi Liu ، Liangjian Chen ، Limin Wang ، Yu Qiao ، Xiaohui Xie ، Charless Fowlkes)

إذا كان لديك ملاحظات عن الرمز ، يرجى الاتصال:

Buptwangzhe2012 في Gmail Dot Com

أداء

فيما يلي خطوة بخطوة التحقق من فعالية طريقتنا ، ملاحظة لتسريع التحقق

طريقة	V7W	التحقق من صحة VQA
خطنا الأساسي	65.6	58.3
+pos tag	66.3	58.7
+n-gram n-gram (conv n-gram)	66.2	59.3
+pos-att +conv n-gram	66.6	59.5
+pos-att +conv n-gram +triplet entmal-q	66.8	60.1
+pos-att +conv n-gram +triplet entmal-a	67.0	60.1
+pos-att +conv n-gram +triplet entert-q +a	67.3	60.2
+pos-att +conv n-gram +triplet entert-q +a +tregultricy التعلم المنظم	67.5	60.3

أدائنا النموذجي الكامل

طريقة	V7W يقول	معيار اختبار VQA	VQA اختبار ديف	VQA Test Dev Y/N	VQA Test Dev Num	VQA Test Dev Other
لنا	68.2	69.6	69.7	81.9	44.3	64.7

متطلب مسبق

Tensorflow ، Torch ، Pandas ، H5Py ، IPDB ، CV2 ، PDB ، Spacy ، Sklearn ، Matplotlib ، Pil ، NLTK

عرض سريع

قم بتنزيل ميزة إخبار V7W المشتركة على https://drive.google.com/open؟id=1hofquxw22j8soyje0vuzqxcnuvjd-e9v وتشغيل "cuda_visible_devices = 0 python v7w.py"

البيانات المسبقة للبيانات

تنزيل Visual7w: http://web.stanford.edu/~yukez/visual7w/ و glove: https://d2j0dndfm35trm.cloudfront.net/resnet-200.t7

Python data_preprocessing_7w.py -data_set إخبار

Python prepro_7w.py

th prepro_img_residule.lua

التصور

بنيان :

ممارسة جيدة :

Python المقارنات _wacv.py

عينات جيدة :

Python draw_heat_new.py

عينات سيئة :

رخصة

معهد ماساتشوستس للتكنولوجيا