visdial amt chat -Download - visdial amt chat -Quellcode herunterladen

visdial amt chat

AI-Quellcode

1.0.0

Herunterladen

Visdiale Amt -Chat

Quelle für die Zwei-Personen-Chat-Schnittstelle zum Sammeln des visdialen Datensatzes (arxiv.org/abs/1611.08669) auf Amazon Mechanical Turk.

Wenn Sie diesen Code nützlich finden, sollten Sie unsere Arbeit zitieren:

 @inproceedings{visdial,
  title={{V}isual {D}ialog},
  author={Abhishek Das and Satwik Kottur and Khushi Gupta and Avi Singh
    and Deshraj Yadav and Jos'e M.F. Moura and Devi Parikh and Dhruv Batra},
  booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
  year={2017}
}

Wie die Dinge funktionieren

Die Echtzeit-Chat-Schnittstelle wurde mit node.js und socket.io erstellt. Wir verwenden Redis, um einen Bilderpool für Live -Hits zu verwalten, und alle Daten befinden sich schließlich in einer MySQL -Datenbank.

In einer Datenbanktabelle werden Bilder aus dem Coco -Datensatz mit jeweils zufällig ausgewählter Bildunterschrift gespeichert. Anschließend wird eine Reihe von Bildern aus dieser Tabelle auf eine Redisliste gedrückt, um Hits zu starten. Der Webserver, der der Chat -Schnittstelle entspricht, kombiniert zwei AMT -Mitarbeiter, weist sie Rollen (Fragesteller oder Antworter) zu und zeigt eine entsprechende Schnittstelle an, wählt ein Bild aus der Redisliste aus, um Daten zu sammeln und ihre Konversation in der Datenbank zu speichern. Außerdem kennzeichnet das Bild als „vollständige“, sobald der Hit durchgeführt wird. Dies geschieht parallel, sodass die Arbeiter nicht warten müssen, und der Server stellt sicher, dass die Mitarbeiter eindeutige IDs haben. Trennungen werden anmutig behandelt - der verbleibende Arbeiter wird gebeten, weiterhin Fragen zu stellen oder Fakten (Untertitel) bis zu 10 Nachrichten bereitzustellen. Sobald die Treffer abgeschlossen sind, können Skripte in mturk_scripts/approve verwendet werden, um Treffer zu überprüfen, zu genehmigen, Treffer abzulehnen und Mitarbeiter zu bezahlen.

Node.js

POP -Bilder aus der Redisliste, ruft relevante Daten aus den MySQL -Tabellen ab, rendert die Chat -Oberfläche und kombiniert die Mitarbeiter auf AMT, speichert übermitteltes Daten an MySQL -Tabellen

Installieren Sie MySQL, Redis, Knoten
Installieren Sie die Abhängigkeiten mithilfe npm install (aus dem Ordner nodejs )
Kopieren Sie über example.config.js in config.js und setzen
Erstellen Sie einen symbolischen Link von static/dataset zu /path/to/mscoco/images/
Aktualisieren Sie den App -Pfad (aus Vhost) in index.html Zeile 276
Das Ausführen node index.js sollte nun die Schnittstelle unter 127.0.0.1:5000 bedienen

MTurk -Skripte

Skripte zum Einrichten der MySQL -Datenbank, zur Aufgabe der Redisliste und zur Genehmigung/Ablehnung von Treffern

Kopieren Sie über example.config.json in config.json und setzen Sie MySQL -Anmeldeinformationen. from_timestamp ist unix Timestamp, bevor er eine Reihe von Hits startet
createDatabase.py und fillDatabase.py erstellen MySQL -Tabellen, bevölkern Sie es mit Coco -Bildern und -unterschriften und generieren die Redisliste für eine Stapel -Hits
createHits.py startet Treffer auf AMT

Genehmigung/Ablehnung von Treffern ( `mturk_scripts/approve` )

Kopieren Sie über example.config.json in config.json und setzen Sie MySQL -Anmeldeinformationen
Kopieren Sie über example.constants.py in constants.py und setzen
reviewHits.py wird abgeschlossene Hits und speichert sie bei amthitsQues.csv und amthitsAns.csv zur Überprüfung
Sobald reviewRejectedHits.py rejectHits.py den CSV -Dateien überprüft wurden (durch Ändern von "nicht genehmigten" payWorkers.py "reviewRejection" oder "genehmigen"), werden approveHits.py .