DeepMoji
1.0.0
Онлайн -демонстрация больше не доступна, так как нам невозможно продлить сертификат. Код в этом репо все еще работает, но вам, возможно, придется внести некоторые изменения, чтобы он работал в Python 3 (см. Open PRS). Вы также можете проверить версию этого алгоритма Pytorch под названием Torchmoji, сделанный HuggingFace.
(Нажмите изображение для демонстрации видео)
Deepmoji - это модель, обученная на 1,2 миллиарда твитов с эмодзи, чтобы понять, как язык используется для выражения эмоций. Благодаря обучению трансферу модель может получить современные результаты по многим задачам моделирования текста, связанными с эмоциями.
Смотрите документ или сообщение в блоге для получения более подробной информации.
Для начала загляните в примеры/ каталог. См. SCOST_TEXTS_EMOJIS.PY для использования DeepMoji для извлечения прогнозов Emoji, Encode_texts.py для преобразования текста в 2304-мерные векторы эмоциональных признаков или finetune_youtube_last.py для использования модели для обучения передачи на новом данных.
Пожалуйста, рассмотрите возможность ссылаться на нашу статью, если вы используете нашу модель или код (см. Ниже для цитирования).
Этот код основан на керасах, который требует как Theano, так и Tensorflow в качестве бэкэнда. Если вы предпочитаете использовать Pytorch, здесь есть реализация, которая любезно предоставлена Томасом Вольком.
Мы предполагаем, что вы используете Python 2.7 с установленным PIP. В качестве бэкэнда вам нужно установить либо Theano (версия 0,9+), либо Tensorflow (версия 1.3+). Как только это будет сделано, вам нужно запустить следующее внутри корневого каталога, чтобы установить оставшиеся зависимости:
pip install -e .Это установит следующие зависимости:
Убедитесь, что Keras использует выбранную вами бэкэнд. Вы можете найти инструкции здесь, под переключением от одного бэкэнда на другой раздел.
Запустите прилагаемый сценарий, который загружает предварительно подготовленные весы DeepMoji (~ 85 МБ) отсюда и помещает их в модель/ каталог:
python scripts/download_weights.pyЧтобы запустить тесты, установите нос. После установки перейдите к тестам/ каталогу и запустите:
nosetests -vПо умолчанию это также будет проходить тесты на создание. Эти тесты обучают модель для одной эпохи, а затем проверяют полученную точность, которая может занять несколько минут. Если вы предпочитаете исключить их, вместо этого запустите следующее:
nosetests -v -a ' !slow ' Этот код был протестирован для работы с Python 2.7 на машине Ubuntu 16.04. Он не был оптимизирован для эффективности, но должен быть достаточно быстрым для большинства целей. Мы не даем никаких гарантий, что нет ошибок - используйте код для вашей собственной ответственности!
Мы приветствуем запросы на привлечение, если вы чувствуете, что что -то может быть улучшено. Вы также можете очень помочь нам, рассказав нам, что вы чувствуете, когда пишете свои последние твиты. Просто нажмите здесь, чтобы внести свой вклад.
Этот код и предварительно проведенная модель лицензированы по лицензии MIT.
Контрольные наборы данных загружаются в этот репозиторий только в целях удобства. Они не были освобождены нами, и мы не требуем никаких прав на них. Используйте наборы данных для вашей ответственности и убедитесь, что вы выполняете лицензии, с которыми они были выпущены. Если вы используете какой -либо из наборов данных контрольных данных, пожалуйста, рассмотрите возможность ссылаться на оригинальных авторов.
К сожалению, мы не можем выпустить наш большой набор данных твитов в Твиттере с эмодзи, из -за ограничений лицензирования.
@inproceedings{felbo2017,
title={Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm},
author={Felbo, Bjarke and Mislove, Alan and S{o}gaard, Anders and Rahwan, Iyad and Lehmann, Sune},
booktitle={Conference on Empirical Methods in Natural Language Processing (EMNLP)},
year={2017}
}
