EMOTIBOT

Emotibot: Gesichtsverfolgung und emotionaler Roboter

MITGLIED:

Woosung Yun, Inguu Choi, Minhyuk Lee, Daewan Kim, Minho Kim, Kim Kyung -Hyun, Kyonoeng Go, Kim Si -on (Sion Kim), Lee Hyun -Seung (Hyunseung Lee)

(Klicken Sie auf das Bild oben, um den Demo -Link anzuzeigen.)

Emotibot ist ein Roboter mit einem Gesicht dynamischer Zellen. Schätzt die Gesichtsposition des Benutzers und ermöglicht es Ihnen, Ihre Augen mit dynamischen Zellen zu sehen. Wenn der Benutzer "High Emotici" sagt, hat er außerdem die Möglichkeit, eine emotionale Frage zu stellen, die in die GPT -API eingegeben wird, und Antworten nach dem emotionalen Status des Benutzers, wie der Berater direkt reagiert.

Technologiestapel

---

Emotibot verwendet den folgenden Technologiestapel:

• STT (Sprach-zu-Text): Wird verwendet, um die Spracheingabe des Benutzers zu erkennen.
• TTS (Text-to-Speech): Wird für die Sprachausgabe des Roboters verwendet.
• GPT-3.5 Turbo: Es wird verwendet, um den emotionalen Status des Benutzers zu identifizieren und zu sprechen.
• OpenCV: Verwenden Sie OpenCVs Cascade -Klassifizierer für die Gesichtserkennung.
• ROS (noetic): Wird zur Kommunikation zwischen Roboternknoten verwendet.
• Dynamixel: Wird verwendet, um die Augenbewegung des Roboters zu implementieren.
• Arduino: Der Roboter wird verwendet, um den Status der NEO -LED herauszufinden.

Funktion

---

Die Funktion von Emotibot ist wie folgt.

• FACE -Standortschätzungsfunktion: OpenCV -Kaskadenklassifikator schätzt die Gesichtsposition des Benutzers und verwendet den geschätzten Ort, um die Augen des Roboters mit dynamischen Zellen zu bewegen.
• Emotionale Statuserkennung: Erkennen Sie den emotionalen Zustand durch die Spracheingabe des Benutzers und sprechen Sie mit dem Benutzer, als ob Sie mit dem Berater mit dem GPT-3.5-Turbo sprechen würden.
• Sprachausgabefunktion: Die TTS -API verwendet Benutzer, um mit Benutzern zu sprechen oder eine Vielzahl von Benachrichtigungen bereitzustellen.

Hardwarearchitektur

---

Workflow & NodeGraph

---

Installieren

---

 cd ~ /catkin_ws/src
git clone https://github.com/ggh-png/EMOTIROBOT.git
git clone https://github.com/ROBOTIS-GIT/DynamixelSDK.git
cd ~ /catkin_ws && catkin_make

pip install pyaudio
pip install google-cloud-speech
pip install google-cloud-texttospeech
pip install playsound
pip install six
pip install openai

Start

---

roslaunch EMOTI_core EMOTI_core.launch