EMOTIBOT

情绪：面部跟踪和情感响应式机器人

成员：

Woosung Yun，Inguu Choi，Minhyuk Lee，Daewan Kim，Minho Kim，Kim Kyung -Hhyun，Kyonoeng GO，Kim Si -on（Sion Kim），Lee Hyun -Seung（Hyunseung Lee）

（单击上图以查看演示链接。）

Emotibot是一个机器人，具有动态细胞的脸。估计用户的面部位置，使您可以使用动态单元格看到眼睛。此外，如果用户说“高表情”，则可以提出一个情感问题，该问题是对GPT API的输入并根据用户的情感状态答案，因为辅导员直接回应。

技术堆栈

---

Emotibot使用以下技术堆栈：

• STT（语音到文本）：用于识别用户的语音输入。
• TTS（文本到语音）：用于机器人的语音输出。
• GPT-3.5 Turbo：它用于识别和谈论用户的情感状况。
• OPENCV：使用OpenCV的级联分类器进行面部识别。
• ROS（NOTEC）：用于机器人节点之间的通信。
• Dynamixel：用于实现机器人的眼动。
• Arduino：该机器人用于找出NEO LED的状态。

功能

---

情绪的功能如下。

• 面部位置估计功能：OpenCV级联分类器估计用户的面部位置，并使用估计的位置使用动态单元格移动机器人的眼睛。
• 情绪状况认识：通过用户的声音输入来识别情绪状态，并与用户交谈，好像使用GPT-3.5 Turbo与辅导员交谈。
• 语音输出功能：TTS API使用用户与用户交谈或提供各种通知。

硬件体系结构

---

工作流和节点

---

安装

---

 cd ~ /catkin_ws/src
git clone https://github.com/ggh-png/EMOTIROBOT.git
git clone https://github.com/ROBOTIS-GIT/DynamixelSDK.git
cd ~ /catkin_ws && catkin_make

pip install pyaudio
pip install google-cloud-speech
pip install google-cloud-texttospeech
pip install playsound
pip install six
pip install openai

发射

---

roslaunch EMOTI_core EMOTI_core.launch