EMOTIBOT

Emotibot: suivi du visage et robot sensible aux émotions

MEMBRE:

Woosung Yun, Inguu Choi, Minhyuk Lee, Daewan Kim, Minho Kim, Kim Kyung -Hyun, Kyonoeng GO, Kim Si -on (Sion Kim), Lee Hyun -seung (Hyunseung Lee)

(Cliquez sur l'image ci-dessus pour voir le lien de démonstration.)

Emotibot est un robot avec un visage de cellules dynamiques. Estime la position du visage de l'utilisateur, vous permettant de voir vos yeux en utilisant des cellules dynamiques. De plus, si l'utilisateur dit "émoticier élevé", il a la capacité de poser une question émotionnelle, qui est entrée à l'API GPT et répond en fonction du statut émotionnel de l'utilisateur, comme le conseiller répond directement.

Pile technologique

---

Emotibot utilise la pile technologique suivante:

• STT (Speech-to-Text): Utilisé pour reconnaître l'entrée vocale de l'utilisateur.
• TTS (text-to-dispeophe): utilisé pour la sortie vocale du robot.
• GPT-3.5 Turbo: il est utilisé pour identifier et parler du statut émotionnel de l'utilisateur.
• OpenCV: Utilisez le classificateur Cascade d'OpenCV pour la reconnaissance faciale.
• ROS (Noetic): Utilisé pour la communication entre les nœuds de robots.
• Dynamixel: utilisé pour implémenter le mouvement oculaire du robot.
• Arduino: Le robot est utilisé pour découvrir le statut de la LED NEO.

fonction

---

La fonction d'Emotibot est la suivante.

• Fonction d'estimation de l'emplacement du visage: le classificateur de cascade OpenCV estime la position du visage de l'utilisateur et utilise l'emplacement estimé pour déplacer les yeux du robot à l'aide de cellules dynamiques.
• Reconnaissance du statut émotionnel: Reconnaissez l'état émotionnel à travers la contribution vocale de l'utilisateur et parlez avec l'utilisateur comme s'il parlait au conseiller en utilisant le GPT-3.5 Turbo.
• Fonction de sortie vocale: L'API TTS utilise des utilisateurs pour parler avec les utilisateurs ou fournir une variété de notifications.

Architecture matérielle

---

Flux de travail et nodegraph

---

Installer

---

 cd ~ /catkin_ws/src
git clone https://github.com/ggh-png/EMOTIROBOT.git
git clone https://github.com/ROBOTIS-GIT/DynamixelSDK.git
cd ~ /catkin_ws && catkin_make

pip install pyaudio
pip install google-cloud-speech
pip install google-cloud-texttospeech
pip install playsound
pip install six
pip install openai

Lancement

---

roslaunch EMOTI_core EMOTI_core.launch