EMOTIBOT

EMOTIBOT: rastreo de cara y robot que responde a la emoción

MIEMBRO:

Woosung Yun, Inguu Choi, Minhyuk Lee, Daewan Kim, Minho Kim, Kim Kyung -hyun, Kyonoeng Go, Kim Si -on (Sion Kim), Lee Hyun -Sepung (Hyunseung Lee)

(Haga clic en la imagen de arriba para ver el enlace de demostración).

El emotibot es un robot con una cara de células dinámicas. Estima la posición de la cara del usuario, lo que le permite ver sus ojos usando celdas dinámicas. Además, si el usuario dice "High Emotici", tiene la capacidad de hacer una pregunta emocional, que es una entrada a la API y respuestas GPT de acuerdo con el estado emocional del usuario, ya que el consejero responde directamente.

Pila de tecnología

---

Emotibot utiliza la siguiente pila de tecnología:

• STT (Speech-to-Text): utilizado para reconocer la entrada de voz del usuario.
• TTS (texto a voz): utilizado para la salida de voz del robot.
• GPT-3.5 Turbo: se usa para identificar y hablar sobre el estado emocional del usuario.
• OPENCV: Use el clasificador Cascade de OpenCV para el reconocimiento facial.
• ROS (noético): utilizado para la comunicación entre nodos de robots.
• Dynamixel: se usa para implementar el movimiento ocular del robot.
• Arduino: El robot se usa para descubrir el estado del NEO LED.

función

---

La función de Emotibot es la siguiente.

• Función de estimación de ubicación de la cara: el clasificador de cascada OpenCV estima la posición de la cara del usuario y utiliza la ubicación estimada para mover los ojos del robot usando celdas dinámicas.
• Reconocimiento de estado emocional: Reconozca el estado emocional a través del aporte de voz del usuario y hable con el usuario como si hablara con el consejero utilizando el GPT-3.5 Turbo.
• Función de salida de voz: TTS API utiliza usuarios para hablar con los usuarios o proporcionar una variedad de notificaciones.

Arquitectura de hardware

---

Flujo de trabajo y nodegraph

---

Instalar

---

 cd ~ /catkin_ws/src
git clone https://github.com/ggh-png/EMOTIROBOT.git
git clone https://github.com/ROBOTIS-GIT/DynamixelSDK.git
cd ~ /catkin_ws && catkin_make

pip install pyaudio
pip install google-cloud-speech
pip install google-cloud-texttospeech
pip install playsound
pip install six
pip install openai

Lanzamiento

---

roslaunch EMOTI_core EMOTI_core.launch