EMOTIBOT

Emotibot: Pelacakan wajah dan robot yang responsif emosi

ANGGOTA:

Woosung Yun, Inguu Choi, Minhyuk Lee, Daewan Kim, Minho Kim, Kim Kyung -hyun, Kyonoeng GO, Kim Si -on (Sion Kim), Lee Hyun -seung (Hyunseung Lee)

(Klik pada gambar di atas untuk melihat tautan demo.)

Emotibot adalah robot dengan wajah sel dinamis. Memperkirakan posisi wajah pengguna, memungkinkan Anda untuk melihat mata Anda menggunakan sel dinamis. Selain itu, jika pengguna mengatakan "emotika tinggi", ia memiliki kemampuan untuk mengajukan pertanyaan emosional, yang merupakan masukan ke API GPT dan menjawab sesuai dengan status emosional pengguna, seperti yang ditanggapi oleh penasihat secara langsung.

Tumpukan Teknologi

---

PEMILIH MENGGUNAKAN TUKU TEKNOLOGI berikut:

• STT (ucapan-ke-teks): Digunakan untuk mengenali input suara pengguna.
• TTS (Teks-ke-Speech): Digunakan untuk output suara robot.
• GPT-3.5 Turbo: Ini digunakan untuk mengidentifikasi dan berbicara tentang status emosional pengguna.
• OpenCV: Gunakan cascade classifier OpenCV untuk pengenalan wajah.
• ROS (noetic): Digunakan untuk komunikasi antara node robot.
• Dynamixel: Digunakan untuk mengimplementasikan gerakan mata robot.
• Arduino: Robot ini digunakan untuk mengetahui status NEO LED.

fungsi

---

Fungsi emotibot adalah sebagai berikut.

• Fungsi Estimasi Lokasi Wajah: Opencv Cascade Classifier memperkirakan posisi wajah pengguna dan menggunakan lokasi yang diperkirakan untuk menggerakkan mata robot menggunakan sel -sel dinamis.
• Pengenalan Status Emosional: Kenali keadaan emosi melalui input suara pengguna dan berbicara dengan pengguna seolah-olah berbicara dengan konselor menggunakan turbo GPT-3.5.
• Fungsi Output Suara: API TTS menggunakan pengguna untuk berbicara dengan pengguna atau memberikan berbagai pemberitahuan.

Arsitektur perangkat keras

---

Alur kerja & nodegraph

---

Memasang

---

 cd ~ /catkin_ws/src
git clone https://github.com/ggh-png/EMOTIROBOT.git
git clone https://github.com/ROBOTIS-GIT/DynamixelSDK.git
cd ~ /catkin_ws && catkin_make

pip install pyaudio
pip install google-cloud-speech
pip install google-cloud-texttospeech
pip install playsound
pip install six
pip install openai

Meluncurkan

---

roslaunch EMOTI_core EMOTI_core.launch