torchMoji

------ Atualização em setembro de 2018 ------

Faz um ano que Torchmoji e Deepmoji foram lançados. Estamos tentando entender como está sendo usado, de modo que possamos fazer melhorias e projetar melhores modelos no futuro.

Você pode nos ajudar a conseguir isso respondendo a este formulário do Google de 4 perguntas. Obrigado pelo seu apoio!

? Torchmoji

Leia nossa postagem no blog sobre o processo de implementação aqui.

Torchmoji é uma implementação de Pytorch do modelo Deepmoji desenvolvido por Bjarke Felbo, Alan Mislove, Anders Søgaard, Iyad Rahwan e Sune Lehmann.

Este modelo treinou em 1,2 bilhão de tweets com emojis para entender como a linguagem é usada para expressar emoções. Através do aprendizado de transferência, o modelo pode obter desempenho de última geração em muitas tarefas de modelagem de texto relacionadas à emoção.

Experimente a demonstração on -line de Deepmoji sobre isso? Espaço! Veja o papel, a postagem do blog ou as perguntas frequentes para obter mais detalhes.

Visão geral

• Torchmoji/ contém todo o código subjacente necessário para converter um conjunto de dados no vocabulário e usar o modelo.
• Exemplos/ contém trechos de código curtos mostrando como converter um conjunto de dados no vocabulário, carregar o modelo e executá -lo nesse conjunto de dados.
• Scripts/ contém código para processamento e análise de conjuntos de dados para reproduzir resultados no artigo.
• Modelo/ contém o modelo e o vocabulário pré -rastreados.
• Dados/ contém conjuntos de dados brutos e processados que incluímos neste repositório para teste.
• Testes/ contém testes de unidade para a base de código.

Para começar, dê uma olhada dentro dos exemplos/ diretório. Consulte Score_Texts_emojis.py para usar o DeepMoji para extrair previsões de emoji, cody_texts.py para como converter o texto em vetores de características emocionais 2304-dimensionais ou FineTune_youtube_last.py para usar o modelo para o aprendizado de transferência em um novo DataSet.

Por favor, considere citar o artigo de Deepmoji se você usar o modelo ou código (veja abaixo para citação).

Instalação

Assumimos que você está usando o Python 2.7-3.5 com o PIP instalado.

Primeiro, você precisa instalar Pytorch (versão 0.2+), atualmente por:

conda install pytorch -c pytorch

No estágio atual, o modelo não pode fazer uso eficiente do CUDA. Veja detalhes na postagem do Blog do Hugging Face.

Quando o Pytorch for instalado, execute o seguinte no diretório raiz para instalar as dependências restantes:

pip install -e .

Isso instalará as seguintes dependências:

• Scikit-Learn
• Text-unidecode
• Emoji

Em seguida, execute o script de download para download os pesos pré -tenhados de Torchmoji (~ 85 MB) daqui e colocá -los no modelo/ diretório:

python scripts/download_weights.py

Teste

Para executar os testes, instale o nariz. Após a instalação, navegue até os testes/ diretório e execute:

 cd tests
nosetests -v

Por padrão, isso também realizará testes de Finetuning. Esses testes treinam o modelo para uma época e verificam a precisão resultante, que pode levar alguns minutos para terminar. Se você preferir excluí -los, execute o seguinte: em vez disso:

 cd tests
nosetests -v -a ' !slow ' 

Isenção de responsabilidade

Este código foi testado para trabalhar com o Python 2.7 e 3,5 no Ubuntu 16.04 e no MacOS Sierra Machines. Não foi otimizado para eficiência, mas deve ser rápido o suficiente para a maioria dos propósitos. Não damos nenhuma garantia de que não há bugs - use o código de sua própria responsabilidade!

Contribuições

Congratulamo -nos com pedidos de puxão se você sentir que algo pode ser melhorado. Você também pode nos ajudar muito, dizendo -nos como se sentiu ao escrever seus tweets mais recentes. Basta clicar aqui para contribuir.

Licença

Este código e o modelo pré -treinado são licenciados sob a licença do MIT.

Conjuntos de dados de referência

Os conjuntos de dados de benchmark são enviados a este repositório apenas para fins de conveniência. Eles não foram libertados por nós e não reivindicamos nenhum direito a eles. Use os conjuntos de dados por sua responsabilidade e certifique -se de cumprir as licenças com as quais foram divulgadas. Se você usar algum dos conjuntos de dados de referência, considere citar os autores originais.

Citação

 @inproceedings{felbo2017,
  title={Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm},
  author={Felbo, Bjarke and Mislove, Alan and S{o}gaard, Anders and Rahwan, Iyad and Lehmann, Sune},
  booktitle={Conference on Empirical Methods in Natural Language Processing (EMNLP)},
  year={2017}
}