torchMoji

------ Mise à jour en septembre 2018 ------

Cela fait un an que Torchmoji et Deepmoji sont libérés. Nous essayons de comprendre comment il est utilisé de telle sorte que nous pouvons apporter des améliorations et concevoir de meilleurs modèles à l'avenir.

Vous pouvez nous aider à y parvenir en répondant à ce formulaire Google à 4 questions. Merci pour votre soutien!

? Torchmoji

Lisez notre article de blog sur le processus de mise en œuvre ici.

Torchmoji est une mise en œuvre pytorch du modèle Deepmoji développé par Bjarke Felbo, Alan trompé, Anders Søgaard, Iyad Rahwan et Sune Lehmann.

Ce modèle s'est formé sur 1,2 milliard de tweets avec des emojis pour comprendre comment le langage est utilisé pour exprimer les émotions. Grâce à l'apprentissage du transfert, le modèle peut obtenir des performances de pointe sur de nombreuses tâches de modélisation de texte liées aux émotions.

Essayez la démo en ligne de Deepmoji à ce sujet? Espace! Voir le journal, le billet de blog ou la FAQ pour plus de détails.

Aperçu

• Torchmoji / contient tout le code sous-jacent nécessaire pour convertir un ensemble de données en vocabulaire et utiliser le modèle.
• Exemples / Contient des extraits de code courts montrant comment convertir un ensemble de données en vocabulaire, charger le modèle et l'exécuter sur cet ensemble de données.
• Les scripts / contient du code pour le traitement et l'analyse des ensembles de données pour reproduire les résultats dans le papier.
• modèle / contient le modèle et le vocabulaire pré-entraînés.
• Les données / contient des ensembles de données bruts et traités que nous incluons dans ce référentiel pour les tests.
• tests / contient des tests unitaires pour la base de code.

Pour commencer, jetez un œil à l'intérieur des exemples / répertoires. Voir score_texts_emojis.py pour utiliser Deepmoji pour extraire les prédictions emoji, encode_text.py pour convertir le texte en vecteurs de fonctionnalités émotionnels 2304 dimensionnels ou FineTune_youtube_last.py pour utiliser le modèle pour le transfert d'apprentissage sur un nouvel ensemble de données.

Veuillez envisager de citer l'article de Deepmoji si vous utilisez le modèle ou le code (voir ci-dessous pour la citation).

Installation

Nous supposons que vous utilisez Python 2.7-3.5 avec PIP installé.

Vous devez d'abord installer Pytorch (version 0.2+), actuellement par:

conda install pytorch -c pytorch

Au stade actuel, le modèle ne peut pas utiliser efficacement CUDA. Voir les détails de l'article de blog Hugging Face.

Lorsque Pytorch est installé, exécutez ce qui suit dans le répertoire racine pour installer les dépendances restantes:

pip install -e .

Cela installera les dépendances suivantes:

• scikit-apprend
• texto-unide
• emoji

Ensuite, exécutez le script de téléchargement pour télécharger les poids Torchmoji pré-entraînés (~ 85 Mo) à partir d'ici et les mettre dans le modèle / répertoire:

python scripts/download_weights.py

Essai

Pour exécuter les tests, installez le nez. Après l'installation, accédez aux tests / répertoire et exécutez:

 cd tests
nosetests -v

Par défaut, cela exécutera également des tests de finetuning. Ces tests forment le modèle pour une époque, puis vérifient la précision résultante, ce qui peut prendre plusieurs minutes à terminer. Si vous préférez les exclure, exécutez plutôt ce qui suit:

 cd tests
nosetests -v -a ' !slow ' 

Clause de non-responsabilité

Ce code a été testé pour fonctionner avec Python 2.7 et 3.5 sur les machines Ubuntu 16.04 et MacOS Sierra. Il n'a pas été optimisé pour l'efficacité, mais devrait être suffisamment rapide dans la plupart des fins. Nous ne garantissons qu'il n'y a pas de bogues - utilisez le code sur votre propre responsabilité!

Contributions

Nous accueillons des demandes de traction si vous avez l'impression que quelque chose pourrait être amélioré. Vous pouvez également nous aider en nous disant ce que vous ressentez lors de la rédaction de vos tweets les plus récents. Cliquez ici pour contribuer.

Licence

Ce code et le modèle pré-entraîné sont autorisés en vertu de la licence du MIT.

Ensembles de données de référence

Les ensembles de données de référence sont téléchargés sur ce référentiel à des fins de commodité uniquement. Ils n'ont pas été libérés par nous et nous ne revendiquons aucun droit sur eux. Utilisez les ensembles de données à votre responsabilité et assurez-vous de remplir les licences avec lesquelles ils ont été publiés. Si vous utilisez l'un des ensembles de données de référence, veuillez envisager de citer les auteurs originaux.

Citation

 @inproceedings{felbo2017,
  title={Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm},
  author={Felbo, Bjarke and Mislove, Alan and S{o}gaard, Anders and Rahwan, Iyad and Lehmann, Sune},
  booktitle={Conference on Empirical Methods in Natural Language Processing (EMNLP)},
  year={2017}
}