EMOTIBOT

情緒：面部跟踪和情感響應式機器人

成員：

Woosung Yun，Inguu Choi，Minhyuk Lee，Daewan Kim，Minho Kim，Kim Kyung -Hhyun，Kyonoeng GO，Kim Si -on（Sion Kim），Lee Hyun -Seung（Hyunseung Lee）

（單擊上圖以查看演示鏈接。）

Emotibot是一個機器人，具有動態細胞的臉。估計用戶的面部位置，使您可以使用動態單元格看到眼睛。此外，如果用戶說“高表情”，則可以提出一個情感問題，該問題是對GPT API的輸入並根據用戶的情感狀態答案，因為輔導員直接回應。

技術堆棧

---

Emotibot使用以下技術堆棧：

• STT（語音到文本）：用於識別用戶的語音輸入。
• TTS（文本到語音）：用於機器人的語音輸出。
• GPT-3.5 Turbo：它用於識別和談論用戶的情感狀況。
• OPENCV：使用OpenCV的級聯分類器進行面部識別。
• ROS（NOTEC）：用於機器人節點之間的通信。
• Dynamixel：用於實現機器人的眼動。
• Arduino：該機器人用於找出NEO LED的狀態。

功能

---

情緒的功能如下。

• 面部位置估計功能：OpenCV級聯分類器估計用戶的面部位置，並使用估計的位置使用動態單元格移動機器人的眼睛。
• 情緒狀況認識：通過用戶的聲音輸入來識別情緒狀態，並與用戶交談，好像使用GPT-3.5 Turbo與輔導員交談。
• 語音輸出功能：TTS API使用用戶與用戶交談或提供各種通知。

硬件體系結構

---

工作流和節點

---

安裝

---

 cd ~ /catkin_ws/src
git clone https://github.com/ggh-png/EMOTIROBOT.git
git clone https://github.com/ROBOTIS-GIT/DynamixelSDK.git
cd ~ /catkin_ws && catkin_make

pip install pyaudio
pip install google-cloud-speech
pip install google-cloud-texttospeech
pip install playsound
pip install six
pip install openai

發射

---

roslaunch EMOTI_core EMOTI_core.launch