DeepMoji

------ อัปเดตกันยายน 2023 ------

การสาธิตออนไลน์ไม่สามารถใช้ได้อีกต่อไปเนื่องจากเป็นไปไม่ได้ที่เราจะต่ออายุใบรับรอง รหัสใน repo นี้ยังคงใช้งานได้ แต่คุณอาจต้องทำการเปลี่ยนแปลงบางอย่างเพื่อให้ทำงานใน Python 3 (ดู PRS ที่เปิดอยู่) นอกจากนี้คุณยังสามารถตรวจสอบรุ่น Pytorch ของอัลกอริทึมนี้ที่เรียกว่า Torchmoji ที่ทำโดย HuggingFace

Deepmoji

(คลิกภาพสำหรับการสาธิตวิดีโอ)

Deepmoji เป็นนางแบบที่ได้รับการฝึกฝนเกี่ยวกับทวีต 1.2 พันล้านครั้งกับอิโมจิเพื่อทำความเข้าใจว่าการใช้ภาษาเพื่อแสดงอารมณ์อย่างไร ผ่านการถ่ายโอนการเรียนรู้แบบจำลองสามารถได้รับประสิทธิภาพที่ล้ำสมัยในงานการสร้างแบบจำลองข้อความที่เกี่ยวข้องกับอารมณ์หลายอย่าง

ดูโพสต์กระดาษหรือบล็อกสำหรับรายละเอียดเพิ่มเติม

ภาพรวม

• DeepMoji/ มีรหัสพื้นฐานทั้งหมดที่จำเป็นในการแปลงชุดข้อมูลเป็นคำศัพท์ของเราและใช้โมเดลของเรา
• ตัวอย่าง/ มีตัวอย่างโค้ดสั้น ๆ แสดงวิธีการแปลงชุดข้อมูลเป็นคำศัพท์ของเราโหลดโมเดลและเรียกใช้ในชุดข้อมูลนั้น
• สคริปต์/ มีรหัสสำหรับการประมวลผลและวิเคราะห์ชุดข้อมูลเพื่อทำซ้ำผลลัพธ์ในกระดาษ
• โมเดล/ มีโมเดลและคำศัพท์
• ข้อมูล/ มีชุดข้อมูลดิบและประมวลผลที่เรารวมไว้ในที่เก็บนี้สำหรับการทดสอบ
• การทดสอบ/ มีการทดสอบหน่วยสำหรับ codebase

ในการเริ่มต้นให้ดูภายในตัวอย่าง/ ไดเรกทอรี ดู score_texts_emojis.py สำหรับวิธีใช้ deepmoji เพื่อแยกการทำนายอิโมจิ, encode_texts.py สำหรับวิธีการแปลงข้อความเป็นเวกเตอร์คุณลักษณะทางอารมณ์ทางอารมณ์ 2304- มิติหรือ finetune_youtube_last.py สำหรับวิธีการใช้แบบจำลองการถ่ายโอน

โปรดพิจารณาอ้างถึงบทความของเราหากคุณใช้โมเดลหรือรหัสของเรา (ดูด้านล่างสำหรับการอ้างอิง)

เฟรมเวิร์ก

รหัสนี้ขึ้นอยู่กับ keras ซึ่งต้องการทั้ง Theano หรือ Tensorflow เป็นแบ็กเอนด์ หากคุณต้องการใช้ Pytorch มีการใช้งานที่นี่ซึ่งได้รับการสนับสนุนจาก Thomas Wolf

การติดตั้ง

เราคิดว่าคุณใช้ Python 2.7 ด้วยการติดตั้ง PIP ในฐานะแบ็กเอนด์คุณต้องติดตั้ง Theano (เวอร์ชัน 0.9+) หรือ TensorFlow (เวอร์ชัน 1.3+) เมื่อเสร็จแล้วคุณจะต้องเรียกใช้สิ่งต่อไปนี้ภายในไดเรกทอรีรูทเพื่อติดตั้งการอ้างอิงที่เหลืออยู่:

pip install -e .

สิ่งนี้จะติดตั้งการพึ่งพาต่อไปนี้:

• Keras (ห้องสมุดได้รับการทดสอบในเวอร์ชัน 2.0.5 แต่สิ่งใดที่สูงกว่า 2.0.0 ควรใช้งานได้)
• Scikit-learn
• H5PY
• ข้อความไม่ใช้ข้อความ
• อีโมจิ

ตรวจสอบให้แน่ใจว่า Keras ใช้แบ็กเอนด์ที่คุณเลือก คุณสามารถค้นหาคำแนะนำได้ที่นี่ภายใต้ การสลับจากแบ็กเอนด์หนึ่งไปยังส่วนอื่น

เรียกใช้สคริปต์ที่รวมอยู่ซึ่งดาวน์โหลดน้ำหนัก Deepmoji ที่ได้รับการฝึกฝนมาก่อน (~ 85MB) จากที่นี่และวางไว้ในรุ่น/ ไดเรกทอรี:

python scripts/download_weights.py

การทดสอบ

ในการเรียกใช้การทดสอบให้ติดตั้งจมูก หลังจากติดตั้งนำทางไปยังการทดสอบ/ ไดเรกทอรีและเรียกใช้:

nosetests -v

โดยค่าเริ่มต้นสิ่งนี้จะเรียกใช้การทดสอบ finetuning การทดสอบเหล่านี้จะฝึกอบรมแบบจำลองสำหรับยุคหนึ่งจากนั้นตรวจสอบความแม่นยำที่เกิดขึ้นซึ่งอาจใช้เวลาหลายนาทีกว่าจะเสร็จ หากคุณต้องการยกเว้นสิ่งเหล่านั้นให้เรียกใช้สิ่งต่อไปนี้แทน:

nosetests -v -a ' !slow ' 

คำเตือน

รหัสนี้ได้รับการทดสอบเพื่อทำงานกับ Python 2.7 บนเครื่อง Ubuntu 16.04 มันไม่ได้รับการปรับให้เหมาะสมสำหรับประสิทธิภาพ แต่ควรเร็วพอสำหรับวัตถุประสงค์ส่วนใหญ่ เราไม่รับประกันว่าไม่มีข้อบกพร่อง - ใช้รหัสตามความรับผิดชอบของคุณเอง!

ผลงาน

เรายินดีต้อนรับคำขอดึงหากคุณรู้สึกว่ามีอะไรดีขึ้น นอกจากนี้คุณยังสามารถช่วยเราได้อย่างมากโดยบอกเราว่าคุณรู้สึกอย่างไรเมื่อเขียนทวีตล่าสุดของคุณ เพียงคลิกที่นี่เพื่อมีส่วนร่วม

ใบอนุญาต

รหัสนี้และโมเดลที่ผ่านการฝึกอบรมได้รับอนุญาตภายใต้ใบอนุญาต MIT

ชุดข้อมูลมาตรฐาน

ชุดข้อมูลมาตรฐานจะถูกอัปโหลดไปยังที่เก็บนี้เพื่อความสะดวกเท่านั้น พวกเขาไม่ได้รับการปล่อยตัวจากเราและเราจะไม่เรียกร้องสิทธิ์ใด ๆ กับพวกเขา ใช้ชุดข้อมูลตามความรับผิดชอบของคุณและตรวจสอบให้แน่ใจว่าคุณได้รับใบอนุญาตที่ได้รับการปล่อยตัว หากคุณใช้ชุดข้อมูลมาตรฐานใด ๆ โปรดพิจารณาอ้างถึงผู้เขียนดั้งเดิม

ชุดข้อมูล Twitter

เราเศร้าไม่สามารถปล่อยชุดข้อมูล Twitter ขนาดใหญ่ของเราด้วยอิโมจิเนื่องจากข้อ จำกัด ด้านใบอนุญาต

การอ้างอิง

 @inproceedings{felbo2017,
  title={Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm},
  author={Felbo, Bjarke and Mislove, Alan and S{o}gaard, Anders and Rahwan, Iyad and Lehmann, Sune},
  booktitle={Conference on Empirical Methods in Natural Language Processing (EMNLP)},
  year={2017}
}