تنزيل visdial amt chat - تنزيل رمز مصدر visdial amt chat

visdial amt chat

كود الذكاء الاصطناعي

1.0.0

تنزيل

دردشة AMT Visdial

مصدر لواجهة الدردشة ذات الشخصين المستخدمة لجمع مجموعة بيانات VisDial (arxiv.org/abs/1611.08669) على Amazon Mechanical Turk.

إذا وجدت هذا الرمز مفيدًا ، فكر في الاستشهاد بعملنا:

 @inproceedings{visdial,
  title={{V}isual {D}ialog},
  author={Abhishek Das and Satwik Kottur and Khushi Gupta and Avi Singh
    and Deshraj Yadav and Jos'e M.F. Moura and Devi Parikh and Dhruv Batra},
  booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
  year={2017}
}

كيف تعمل الأشياء

تم تصميم واجهة الدردشة في الوقت الفعلي باستخدام Node.js و Socket.io. نحن نستخدم Redis للحفاظ على مجموعة من الصور لـ Live Hits وتقيم جميع البيانات أخيرًا في قاعدة بيانات MySQL.

يقوم جدول قاعدة البيانات بتخزين الصور من مجموعة بيانات Coco لكل منها تعليق تم اختياره عشوائيًا. ثم يتم دفع مجموعة من الصور من هذا الجدول إلى قائمة Redis لإطلاق الزيارات. يقوم خادم الويب الذي يتوافق مع واجهة الدردشة بتقديم اثنين من عمال AMT ، ويقوم بتعيين أدوارهم (السائل أو المستجيب) ويعرض الواجهة المقابلة ، ويختار صورة من قائمة Redis لجمع البيانات على وحفظ محادثتهم في قاعدة البيانات ، مما يشير أيضًا إلى تلك الصورة على أنها "كاملة" بمجرد انتهاء الضربة. يحدث هذا بالتوازي حتى لا يترك العمال في الانتظار ، ويضمن الخادم أن العمال لديهم معرفات فريدة. تتم معالجة قطع الاتصال بأمان - يُطلب من العامل المتبقي مواصلة طرح الأسئلة أو تقديم الحقائق (التسميات التوضيحية) حتى 10 رسائل. بمجرد اكتمال الزيارات ، يمكن استخدام البرامج النصية في mturk_scripts/approve لمراجعة العمال والموافقة عليها ورفضها ودفع العمال.

node.js

الملوثات العضوية الثابتة من قائمة Redis ، ويسترجع البيانات ذات الصلة من جداول MySQL ، ويجعل واجهة الدردشة والعمال على AMT ، يحفظ البيانات المقدمة إلى جداول MySQL

تثبيت mysql ، redis ، العقدة
تثبيت التبعيات باستخدام npm install (من مجلد nodejs )
انسخ Over example.config.js إلى config.js ، وتعيين بيانات اعتماد MySQL و Redis
قم بإنشاء رابط رمزي من static/dataset إلى /path/to/mscoco/images/
تحديث مسار التطبيق (من VHOST) في index.html سطر 276
يجب أن يخدم تشغيل node index.js الواجهة على 127.0.0.1:5000

نصوص mturk

البرامج النصية لإعداد قاعدة بيانات MySQL ، و populate Redis ، والموافقة/رفض الزيارات

انسخ Over example.config.json to config.json ، وقم بتعيين بيانات اعتماد MySQL. from_timestamp هو UNIX Timestamp قبل إطلاق مجموعة من الزيارات
createDatabase.py و fillDatabase.py إنشاء جداول MySQL ، وملبؤها بصور الكوكو والتسميات التوضيحية وإنشاء قائمة Redis للحصول على مجموعة من الزيارات
createHits.py يطلق ضربات على AMT

موافقة/رفض الزيارات ( `mturk_scripts/approve` )

انسخ Over example.config.json to config.json ، وقم بتعيين بيانات اعتماد MySQL
انسخ Over example.constants.py إلى constants.py ، وضبط بيانات اعتماد AMT
reviewHits.py يحصل على الزيارات المكتملة ويوفرها إلى amthitsQues.csv و amthitsAns.csv للمراجعة
بمجرد مراجعة الزيارات في ملفات CSV (عن طريق تغيير "notapprove" إلى "مراجعة" أو "موافقة") rejectHits.py قم بتشغيل approveHits.py لتمييز الزيارات المعتمدة للدفع reviewRejectedHits.py payWorkers.py