STL VQA
1.0.0
Это код для «структурированного триплетного обучения с руководящимся вниманием к визуальному ответу на вопрос, WACV 2018 (Zhe Wang, Xiaoyi Liu, Liangjian Chen, Limin Wang, Yu Qiao, Xiaohui Xie, невесомых Falkes)», «Хорошая практика в системе VQA», такая как поставка, в целом, и все это может быть в целом, и в целом, что может быть в целом, и в целом. Языковая задача.
Если вы найдете код полезным, пожалуйста, процитируйте статью:
Если у вас есть отзывы о коде, пожалуйста, свяжитесь:
Ниже приведена пошаговая проверка эффективности нашего метода, обратите внимание, чтобы ускорить проверку, мы используем функцию 7by7 вместо функции 14by14
| Метод | V7W | VQA Validation |
|---|---|---|
| Наша базовая линия | 65,6 | 58.3 |
| +POS TAG Руководство (POS-ATT) | 66.3 | 58.7 |
| +Сверточный N-грамм (конверт N-грамм) | 66.2 | 59,3 |
| +Pos-att +conv n-gram | 66.6 | 59,5 |
| +Pos-att +conv n-gram +triplet attive-q | 66.8 | 60.1 |
| +Pos-att +conv n-gram +triplet attect-a | 67.0 | 60.1 |
| +Pos-att +conv n-gram +triplet attive-q +a | 67.3 | 60.2 |
| +Pos-att +conv n-gram +triplet attive-q +a +структурированные триплеты обучения | 67.5 | 60.3 |
Наша полная производительность модели
| Метод | V7W рассказывает | VQA Test Standard | VQA Test Dev | VQA Test Dev Y/N | VQA Test Dev Num | VQA Test Dev Другое |
|---|---|---|---|---|---|---|
| Наш | 68.2 | 69,6 | 69,7 | 81.9 | 44.3 | 64,7 |
Tensorflow, Torch, Pandas, H5Py, IPDB, CV2, PDB, Spacy, Sklearn, Matplotlib, Pil, NLTK
Загрузите функцию V7W сообщать об обмене на https://drive.google.com/open?id=1hofquxw22j8soyje0vuzqxcnuvjd-e9v и запустите "cuda_visible_devices = 0 python v7w.py"
Скачать Visual7w: http://web.stanford.edu/~yukez/visual7w/ и перчатка: http://nlp.stanford.edu/data/wordvecs/glove.6b.zip от https://github.com/stanfordnlp/glove Загрузка: Скачать: https://d2j0dndfm35trm.cloudfront.net/resnet-200.t7
python data_preprocessing_7w.py -data_set
Python prefro_7w.py
th prefro_img_residule.lua
Архитектура :
Хорошая практика :
Python compassons_wacv.py
Хорошие образцы :
python draw_heat_new.py
Плохие образцы : 
Грань
