EMOTIBOT

Эмотибот: отслеживание лица и робот, реагирующий на эмоции

ЧЛЕН:

Woosung Yun, Inguu Choi, Minhyuk Lee, Daewan Kim, Minho Kim, Kim Kyung -Hyun, Kyonoeng Go, Kim Si -on (Sion Kim), Ли Хен -Сейнг (Хенсинг Ли)

(Нажмите на изображение выше, чтобы увидеть демонстрационную ссылку.)

Эмотибот - это робот с лицом динамических клеток. Оценивает положение лица пользователя, позволяя вам увидеть ваши глаза с помощью динамических ячеек. Кроме того, если пользователь говорит «High Emotici», у него есть возможность задать эмоциональный вопрос, который вводит на API GPT и ответы в соответствии с эмоциональным статусом пользователя, поскольку консультант отвечает напрямую.

Технологический стек

---

Emotibot использует следующий технологический стек:

• STT (речь в текст): используется для распознавания голосового ввода пользователя.
• TTS (текст в речь): используется для голосового вывода робота.
• GPT-3.5 Turbo: он используется для идентификации и разговора об эмоциональном статусе пользователя.
• OpenCV: используйте каскадный классификатор OpenCV для распознавания лица.
• ROS (Noetic): используется для связи между узлами роботов.
• Dynamixel: используется для реализации движения глаз робота.
• Arduino: робот используется для выяснения статуса светодиода Neo.

функция

---

Функция эмотибота заключается в следующем.

• Функция оценки местоположения лица: каскадный классификатор OpenCV оценивает положение лица пользователя и использует предполагаемое место для перемещения глаз робота с помощью динамических ячеек.
• Распознавание эмоционального статуса: распознайте эмоциональное состояние через голосовой ввод пользователя и поговорите с пользователем, как будто разговаривает с консультантом с использованием Turbo GPT-3.5.
• Функция голосового вывода: TTS API использует пользователей для общения с пользователями или предоставления различных уведомлений.

Аппаратная архитектура

---

Рабочий процесс и узлы

---

Установить

---

 cd ~ /catkin_ws/src
git clone https://github.com/ggh-png/EMOTIROBOT.git
git clone https://github.com/ROBOTIS-GIT/DynamixelSDK.git
cd ~ /catkin_ws && catkin_make

pip install pyaudio
pip install google-cloud-speech
pip install google-cloud-texttospeech
pip install playsound
pip install six
pip install openai

Запуск

---

roslaunch EMOTI_core EMOTI_core.launch