torchMoji

------ Perbarui September 2018 ------

Sudah setahun sejak Torchmoji dan Deepmoji dibebaskan. Kami mencoba memahami bagaimana itu digunakan sedemikian rupa sehingga kami dapat membuat perbaikan dan merancang model yang lebih baik di masa depan.

Anda dapat membantu kami mencapai ini dengan menjawab formulir Google 4 pertanyaan ini. Terima kasih atas dukungan Anda!

? Torchmoji

Baca posting blog kami tentang proses implementasi di sini.

Torchmoji adalah implementasi Pytorch dari model Deepmoji yang dikembangkan oleh Bjarke Felbo, Alan Mislove, Anders Søgaard, Iyad Rahwan dan Sune Lehmann.

Model ini dilatih pada 1,2 miliar tweet dengan emoji untuk memahami bagaimana bahasa digunakan untuk mengekspresikan emosi. Melalui Transfer Learning, model ini dapat memperoleh kinerja canggih pada banyak tugas pemodelan teks terkait emosi.

Coba demo online Deepmoji tentang ini? Ruang angkasa! Lihat koran, posting blog atau FAQ untuk lebih jelasnya.

Ringkasan

• Torchmoji/ berisi semua kode dasar yang diperlukan untuk mengonversi dataset ke kosakata dan menggunakan model.
• Contoh/ berisi cuplikan kode pendek yang menunjukkan cara mengonversi dataset ke kosakata, memuat model dan menjalankannya pada dataset itu.
• Script/ berisi kode untuk memproses dan menganalisis set data untuk mereproduksi hasil dalam makalah.
• Model/ berisi model dan kosa kata pretrained.
• Data/ Berisi dataset mentah dan olahan yang kami sertakan dalam repositori ini untuk pengujian.
• tes/ berisi unit tes untuk basis kode.

Untuk memulai, lihatlah ke dalam contoh/ direktori. Lihat SCORE_TEXTS_EMOJIS.py untuk cara menggunakan DeepMoji untuk mengekstrak prediksi emoji, encode_texts.py untuk cara mengubah teks menjadi vektor fitur emosional 2304 dimensi atau finetune_youtube_last.py untuk cara menggunakan model untuk transfer pembelajaran pada dataset baru.

Harap pertimbangkan mengutip kertas DeepMoji jika Anda menggunakan model atau kode (lihat di bawah untuk kutipan).

Instalasi

Kami berasumsi bahwa Anda menggunakan Python 2.7-3.5 dengan Pip terpasang.

Pertama, Anda perlu menginstal pytorch (versi 0.2+), saat ini oleh:

conda install pytorch -c pytorch

Pada tahap ini model tidak dapat menggunakan CUDA secara efisien. Lihat detail dalam posting blog Face Memeluk.

Saat Pytorch diinstal, jalankan berikut ini di direktori root untuk menginstal dependensi yang tersisa:

pip install -e .

Ini akan menginstal dependensi berikut:

• scikit-learn
• Teks-Unidecode
• emoji

Kemudian, jalankan skrip unduhan untuk mengunduh bobot torchmoji pretrained (~ 85MB) dari sini dan memasukkannya ke dalam model/ direktori:

python scripts/download_weights.py

Pengujian

Untuk menjalankan tes, pasang hidung. Setelah menginstal, navigasikan ke tes/ direktori dan jalankan:

 cd tests
nosetests -v

Secara default, ini juga akan menjalankan tes finetuning. Tes -tes ini melatih model untuk satu zaman dan kemudian memeriksa akurasi yang dihasilkan, yang mungkin membutuhkan waktu beberapa menit untuk menyelesaikannya. Jika Anda lebih suka mengecualikannya, jalankan berikut ini sebagai gantinya:

 cd tests
nosetests -v -a ' !slow ' 

Penafian

Kode ini telah diuji untuk bekerja dengan Python 2.7 dan 3.5 pada mesin Ubuntu 16.04 dan MacOS Sierra. Ini belum dioptimalkan untuk efisiensi, tetapi harus cukup cepat untuk sebagian besar tujuan. Kami tidak memberikan jaminan bahwa tidak ada bug - gunakan kode atas tanggung jawab Anda sendiri!

Kontribusi

Kami menyambut permintaan tarik jika Anda merasa ada sesuatu yang bisa ditingkatkan. Anda juga dapat sangat membantu kami dengan memberi tahu kami bagaimana perasaan Anda saat menulis tweet terbaru Anda. Cukup klik di sini untuk berkontribusi.

Lisensi

Kode ini dan model pretrained dilisensikan di bawah lisensi MIT.

Dataset Benchmark

Dataset benchmark diunggah ke repositori ini hanya untuk tujuan kenyamanan. Mereka tidak dibebaskan oleh kami dan kami tidak mengklaim hak apa pun atas mereka. Gunakan kumpulan data sesuai tanggung jawab Anda dan pastikan Anda memenuhi lisensi yang mereka rilis. Jika Anda menggunakan salah satu dataset benchmark, silakan pertimbangkan mengutip penulis asli.

Kutipan

 @inproceedings{felbo2017,
  title={Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm},
  author={Felbo, Bjarke and Mislove, Alan and S{o}gaard, Anders and Rahwan, Iyad and Lehmann, Sune},
  booktitle={Conference on Empirical Methods in Natural Language Processing (EMNLP)},
  year={2017}
}