DeepMoji

------ Perbarui September 2023 ------

Demo online tidak lagi tersedia karena tidak mungkin bagi kami untuk memperbarui sertifikat. Kode dalam repo ini masih berfungsi, tetapi Anda mungkin harus membuat beberapa perubahan agar berfungsi di Python 3 (lihat PR terbuka). Anda juga dapat memeriksa versi Pytorch dari algoritma ini yang disebut Torchmoji yang dibuat oleh Huggingface.

Deepmoji

(klik gambar untuk demonstrasi video)

Deepmoji adalah model yang dilatih pada 1,2 miliar tweet dengan emoji untuk memahami bagaimana bahasa digunakan untuk mengekspresikan emosi. Melalui Transfer Learning, model ini dapat memperoleh kinerja canggih pada banyak tugas pemodelan teks terkait emosi.

Lihat koran atau posting blog untuk lebih jelasnya.

Ringkasan

• DeepMoji/ berisi semua kode dasar yang diperlukan untuk mengonversi dataset ke kosakata kami dan menggunakan model kami.
• Contoh/ berisi cuplikan kode pendek yang menunjukkan cara mengonversi dataset ke kosakata kami, memuat model dan menjalankannya pada dataset itu.
• Script/ berisi kode untuk memproses dan menganalisis set data untuk mereproduksi hasil dalam makalah.
• Model/ berisi model dan kosa kata pretrained.
• Data/ Berisi dataset mentah dan olahan yang kami sertakan dalam repositori ini untuk pengujian.
• tes/ berisi unit tes untuk basis kode.

Untuk memulai, lihatlah ke dalam contoh/ direktori. Lihat SCORE_TEXTS_EMOJIS.py untuk cara menggunakan DeepMoji untuk mengekstrak prediksi emoji, encode_texts.py untuk cara mengubah teks menjadi vektor fitur emosional 2304 dimensi atau finetune_youtube_last.py untuk cara menggunakan model untuk transfer pembelajaran pada dataset baru.

Harap pertimbangkan mengutip makalah kami jika Anda menggunakan model atau kode kami (lihat di bawah untuk kutipan).

Kerangka kerja

Kode ini didasarkan pada keras, yang membutuhkan Theano atau TensorFlow sebagai backend. Jika Anda lebih suka menggunakan Pytorch, ada implementasi yang tersedia di sini, yang disediakan oleh Thomas Wolf.

Instalasi

Kami berasumsi bahwa Anda menggunakan Python 2.7 dengan Pip terpasang. Sebagai backend, Anda perlu menginstal Theano (versi 0.9+) atau TensorFlow (versi 1.3+). Setelah selesai, Anda perlu menjalankan yang berikut di dalam direktori root untuk menginstal dependensi yang tersisa:

pip install -e .

Ini akan menginstal dependensi berikut:

• Keras (perpustakaan diuji pada versi 2.0.5 tetapi apa pun di atas 2.0.0 harus berfungsi)
• scikit-learn
• h5py
• Teks-Unidecode
• emoji

Pastikan Keras menggunakan backend yang Anda pilih. Anda dapat menemukan instruksi di sini, di bawah switching dari satu backend ke bagian lain .

Jalankan skrip yang disertakan, yang mengunduh bobot deepmoji pretrained (~ 85MB) dari sini dan menempatkannya di model/ direktori:

python scripts/download_weights.py

Pengujian

Untuk menjalankan tes, pasang hidung. Setelah menginstal, navigasikan ke tes/ direktori dan jalankan:

nosetests -v

Secara default, ini juga akan menjalankan tes finetuning. Tes -tes ini melatih model untuk satu zaman dan kemudian memeriksa akurasi yang dihasilkan, yang mungkin membutuhkan waktu beberapa menit untuk menyelesaikannya. Jika Anda lebih suka mengecualikannya, jalankan berikut ini sebagai gantinya:

nosetests -v -a ' !slow ' 

Penafian

Kode ini telah diuji untuk bekerja dengan Python 2.7 pada mesin Ubuntu 16.04. Ini belum dioptimalkan untuk efisiensi, tetapi harus cukup cepat untuk sebagian besar tujuan. Kami tidak memberikan jaminan bahwa tidak ada bug - gunakan kode atas tanggung jawab Anda sendiri!

Kontribusi

Kami menyambut permintaan tarik jika Anda merasa ada sesuatu yang bisa ditingkatkan. Anda juga dapat sangat membantu kami dengan memberi tahu kami bagaimana perasaan Anda saat menulis tweet terbaru Anda. Cukup klik di sini untuk berkontribusi.

Lisensi

Kode ini dan model pretrained dilisensikan di bawah lisensi MIT.

Dataset Benchmark

Dataset benchmark diunggah ke repositori ini hanya untuk tujuan kenyamanan. Mereka tidak dibebaskan oleh kami dan kami tidak mengklaim hak apa pun atas mereka. Gunakan kumpulan data sesuai tanggung jawab Anda dan pastikan Anda memenuhi lisensi yang mereka rilis. Jika Anda menggunakan salah satu dataset benchmark, silakan pertimbangkan mengutip penulis asli.

Dataset Twitter

Sayangnya kami tidak dapat merilis dataset tweet Twitter kami yang besar dengan emoji karena pembatasan lisensi.

Kutipan

 @inproceedings{felbo2017,
  title={Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm},
  author={Felbo, Bjarke and Mislove, Alan and S{o}gaard, Anders and Rahwan, Iyad and Lehmann, Sune},
  booktitle={Conference on Empirical Methods in Natural Language Processing (EMNLP)},
  year={2017}
}