EMOTIBOT

Emotibot: rastreamento de rosto e robô responsivo à emoção

MEMBRO:

Woosung Yun, Inguu Choi, Minhyuk Lee, Daewan Kim, Minho Kim, Kim Kyung -Hyun, Kyonoeng Go, Kim Si -ON (Sion Kim), Lee Hyun -Seung (Hyunseung Lee)

(Clique na imagem acima para ver o link de demonstração.)

Emotibot é um robô com uma face de células dinâmicas. Estima a posição da face do usuário, permitindo que você veja seus olhos usando células dinâmicas. Além disso, se o usuário disser "emotici alto", ele tem a capacidade de fazer uma pergunta emocional, que é inserida para a API e respostas do GPT de acordo com o status emocional do usuário, à medida que o conselheiro responde diretamente.

Pilha de tecnologia

---

Emotibot usa a seguinte pilha de tecnologia:

• STT (fala para texto): Usado para reconhecer a entrada de voz do usuário.
• TTS (Texto-fala): usado para a saída de voz do robô.
• GPT-3.5 Turbo: é usado para identificar e falar sobre o status emocional do usuário.
• OpenCV: Use o classificador Cascade da OpenCV para reconhecimento de rosto.
• ROS (Noético): usado para comunicação entre nós de robôs.
• Dynamixel: usado para implementar o movimento ocular do robô.
• Arduino: O robô é usado para descobrir o status do LED NEO.

função

---

A função do Emotibot é a seguinte.

• Função de estimativa de localização da face: O OpenCV Clascade Classifier estima a posição da face do usuário e usa o local estimado para mover os olhos do robô usando células dinâmicas.
• Reconhecimento do status emocional: reconheça o estado emocional através da entrada de voz do usuário e converse com o usuário como se estivesse conversando com o conselheiro usando o GPT-3.5 Turbo.
• Função de saída de voz: a API TTS usa usuários para conversar com os usuários ou fornecer uma variedade de notificações.

Arquitetura de hardware

---

Fluxo de trabalho e nodegraph

---

Instalar

---

 cd ~ /catkin_ws/src
git clone https://github.com/ggh-png/EMOTIROBOT.git
git clone https://github.com/ROBOTIS-GIT/DynamixelSDK.git
cd ~ /catkin_ws && catkin_make

pip install pyaudio
pip install google-cloud-speech
pip install google-cloud-texttospeech
pip install playsound
pip install six
pip install openai

Lançar

---

roslaunch EMOTI_core EMOTI_core.launch