DeepMoji
1.0.0
A demonstração on -line não está mais disponível, pois não é possível renovar o certificado. O código neste repo ainda funciona, mas você pode precisar fazer algumas alterações para que funcione no Python 3 (consulte o PRS aberto). Você também pode conferir a versão Pytorch deste algoritmo chamado Torchmoji feito pelo HuggingFace.
(Clique em imagem para demonstração de vídeo)
Deepmoji é um modelo treinado em 1,2 bilhão de tweets com emojis para entender como a linguagem é usada para expressar emoções. Através do aprendizado de transferência, o modelo pode obter desempenho de última geração em muitas tarefas de modelagem de texto relacionadas à emoção.
Veja o papel ou postagem do blog para mais detalhes.
Para começar, dê uma olhada dentro dos exemplos/ diretório. Consulte Score_Texts_emojis.py para usar o DeepMoji para extrair previsões de emoji, cody_texts.py para como converter o texto em vetores de características emocionais 2304-dimensionais ou FineTune_youtube_last.py para usar o modelo para o aprendizado de transferência em um novo DataSet.
Por favor, considere citar nosso artigo se você usar nosso modelo ou código (veja abaixo para citação).
Este código é baseado em Keras, que requer Theano ou Tensorflow como back -end. Se você preferir usar o Pytorch, há uma implementação disponível aqui, que gentilmente foi fornecida por Thomas Wolf.
Assumimos que você está usando o Python 2.7 com o PIP instalado. Como back -end, você precisa instalar o Theano (versão 0.9+) ou TensorFlow (versão 1.3+). Uma vez feito isso, você precisa executar o seguinte dentro do diretório raiz para instalar as dependências restantes:
pip install -e .Isso instalará as seguintes dependências:
Verifique se Keras usa o back -end escolhido. Você pode encontrar as instruções aqui, sob a troca de um back -end para outra .
Execute o script incluído, que baixará os pesos de Deepmoji pré -tenham (~ 85 MB) daqui e os coloca no modelo/ diretório:
python scripts/download_weights.pyPara executar os testes, instale o nariz. Após a instalação, navegue até os testes/ diretório e execute:
nosetests -vPor padrão, isso também realizará testes de Finetuning. Esses testes treinam o modelo para uma época e verificam a precisão resultante, que pode levar alguns minutos para terminar. Se você preferir excluí -los, execute o seguinte: em vez disso:
nosetests -v -a ' !slow ' Este código foi testado para trabalhar com o Python 2.7 em uma máquina Ubuntu 16.04. Não foi otimizado para eficiência, mas deve ser rápido o suficiente para a maioria dos propósitos. Não damos nenhuma garantia de que não há bugs - use o código de sua própria responsabilidade!
Congratulamo -nos com pedidos de puxão se você sentir que algo pode ser melhorado. Você também pode nos ajudar muito, dizendo -nos como se sentiu ao escrever seus tweets mais recentes. Basta clicar aqui para contribuir.
Este código e o modelo pré -treinado são licenciados sob a licença do MIT.
Os conjuntos de dados de benchmark são enviados a este repositório apenas para fins de conveniência. Eles não foram libertados por nós e não reivindicamos nenhum direito a eles. Use os conjuntos de dados por sua responsabilidade e certifique -se de cumprir as licenças com as quais foram divulgadas. Se você usar algum dos conjuntos de dados de referência, considere citar os autores originais.
Infelizmente, não podemos lançar nosso grande conjunto de dados do Twitter de tweets com emojis devido a restrições de licenciamento.
@inproceedings{felbo2017,
title={Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm},
author={Felbo, Bjarke and Mislove, Alan and S{o}gaard, Anders and Rahwan, Iyad and Lehmann, Sune},
booktitle={Conference on Empirical Methods in Natural Language Processing (EMNLP)},
year={2017}
}
