torchMoji

------ Update September 2018 ------

Es ist ein Jahr her, seit Torchmoji und Deepmoji veröffentlicht wurden. Wir versuchen zu verstehen, wie es verwendet wird, damit wir in Zukunft Verbesserungen vornehmen und bessere Modelle entwerfen können.

Sie können uns dabei helfen, dies zu erreichen, indem Sie dieses Google-Formular mit 4 Fragen beantworten. Vielen Dank für Ihre Unterstützung!

? Torchmoji

Lesen Sie hier unseren Blog -Beitrag über den Implementierungsprozess.

Torchmoji ist eine Pytorch -Implementierung des Deepmoji -Modells, das von Bjarke Felbo, Alan Mislove, Anders Søgaard, Iyad Rahwan und Sune Lehmann entwickelt wurde.

Dieses Modell wurde auf 1,2 Milliarden Tweets mit Emojis trainiert, um zu verstehen, wie Sprache verwendet wird, um Emotionen auszudrücken. Durch Transferlernen kann das Modell eine modernste Leistung bei vielen emotionalen Textmodellierungsaufgaben erhalten.

Probieren Sie die Online -Demo von Deepmoji dazu? Raum! Weitere Informationen finden Sie im Papier, Blog -Beitrag oder FAQ.

Überblick

• Torchmoji/ enthält den gesamten zugrunde liegenden Code, der zum Umwandeln eines Datensatzes in das Vokabular und die Verwendung des Modells erforderlich ist.
• Beispiele/ Enthält kurze Code -Snippets, die zeigen, wie ein Datensatz in das Wortschatz konvertiert, das Modell laden und auf diesem Datensatz ausführt.
• Skripte/ enthält Code für die Verarbeitung und Analyse von Datensätzen, um Ergebnisse im Papier zu reproduzieren.
• Modell/ enthält das vorgezogene Modell und das Vokabular.
• Daten/ enthält rohe und verarbeitete Datensätze, die wir in dieses Repository zum Testen aufnehmen.
• Tests/ Enthält Unit -Tests für die Codebasis.

Schauen Sie zunächst in die Beispiele/ Verzeichnis. Siehe Score_Texts_Emojis.py, um mit DeepMoji Emoji-Vorhersagen zu extrahieren, codieren_texts.py, um Text in 2304-dimensionale emotionale Funktionsvektoren oder finetune_youtube_last.py umzuwandeln

Bitte erwägen Sie das Papier von Deepmoji, wenn Sie das Modell oder Code verwenden (siehe unten für Zitier).

Installation

Wir gehen davon aus, dass Sie Python 2.7-3.5 mit einem installierten PIP verwenden.

Zuerst müssen Sie Pytorch (Version 0.2+) installieren, derzeit nach:

conda install pytorch -c pytorch

Im vorliegenden Zeitpunkt kann das Modell CUDA nicht effizient einsetzen. Siehe Details im Umarmungs -Face -Blog -Beitrag.

Wenn Pytorch installiert ist, führen Sie Folgendes im Stammverzeichnis aus, um die verbleibenden Abhängigkeiten zu installieren:

pip install -e .

Dadurch werden die folgenden Abhängigkeiten installiert:

• Scikit-Learn
• Text-Uniidecode
• Emoji

Führen Sie dann das Download -Skript aus, um die vorgezogenen Torchmoji -Gewichte (~ 85 MB) von hier herunterzuladen und in das Modell/ Verzeichnis einzulegen:

python scripts/download_weights.py

Testen

Um die Tests durchzuführen, installieren Sie die Nase. Navigieren Sie nach der Installation zu den Tests/ Verzeichnissen und führen Sie aus:

 cd tests
nosetests -v

Standardmäßig wird dies auch Finetuning -Tests ausgeführt. Diese Tests trainieren das Modell für eine Epoche und überprüfen dann die resultierende Genauigkeit, die einige Minuten dauern kann, bis es fertig ist. Wenn Sie diese lieber ausschließen möchten, führen Sie stattdessen Folgendes aus:

 cd tests
nosetests -v -a ' !slow ' 

Haftungsausschluss

Dieser Code wurde getestet, um mit Python 2.7 und 3.5 auf Ubuntu 16.04 und MacOS Sierra -Maschinen zu arbeiten. Es wurde nicht für die Effizienz optimiert, sollte aber für die meisten Zwecke schnell genug sein. Wir geben keine Garantien dafür, dass es keine Fehler gibt - verwenden Sie den Code für Ihre eigene Verantwortung!

Beiträge

Wir begrüßen Anfragen, wenn Sie das Gefühl haben, dass etwas verbessert werden könnte. Sie können uns auch sehr helfen, indem Sie uns sagen, wie Sie sich beim Schreiben Ihrer letzten Tweets gefühlt haben. Klicken Sie einfach hier, um einen Beitrag zu leisten.

Lizenz

Dieser Code und das vorbereitete Modell sind unter der MIT -Lizenz lizenziert.

Benchmark -Datensätze

Die Benchmark -Datensätze werden nur aus Gründen der Zwecke in dieses Repository hochgeladen. Sie wurden nicht von uns freigelassen und wir beanspruchen keine Rechte an ihnen. Verwenden Sie die Datensätze zu Ihrer Verantwortung und stellen Sie sicher, dass Sie die Lizenzen erfüllen, mit denen sie veröffentlicht wurden. Wenn Sie eine der Benchmark -Datensätze verwenden, sollten Sie die ursprünglichen Autoren zitieren.

Zitat

 @inproceedings{felbo2017,
  title={Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm},
  author={Felbo, Bjarke and Mislove, Alan and S{o}gaard, Anders and Rahwan, Iyad and Lehmann, Sune},
  booktitle={Conference on Empirical Methods in Natural Language Processing (EMNLP)},
  year={2017}
}