EMOTIBOT

Emotibot：フェイストラッキングと感情対応ロボット

メンバー：

ウースン・ユン、イングウ・チョイ、ミンヒョク・リー、ダウワン・キム、ミンホ・キム、キム・キョン - ヒョン、キョノエンGO、キム・シオン（シオン・キム）、リー・ヒョン・ション（ヒョンジョン・リー）

（上の画像をクリックして、デモリンクを表示します。）

Emotibotは、動的なセルの顔を持つロボットです。ユーザーの顔の位置を推定し、動的セルを使用して目を見ることができます。さらに、ユーザーが「High Emotici」と言っている場合、カウンセラーが直接回答するように、GPT APIに入力し、ユーザーの感情的状態に応じて回答する感情的な質問をする能力があります。

テクノロジースタック

---

Emotibotは次のテクノロジースタックを使用します。

• STT（音声からテキスト）：ユーザーの音声入力を認識するために使用されます。
• TTS（テキストツースピーチ）：ロボットの音声出力に使用されます。
• GPT-3.5 Turbo：ユーザーの感情的状態を特定して話すために使用されます。
• opencv：opencvのカスケード分類器を使用して、顔認識を得ます。
• ROS（NOEC）：ロボットのノード間の通信に使用されます。
• Dynamixel：ロボットの眼球運動を実装するために使用されます。
• Arduino：ロボットは、NEO LEDのステータスを見つけるために使用されます。

関数

---

emotibotの機能は次のとおりです。

• 顔の位置推定関数：OpenCVカスケード分類器は、ユーザーの顔の位置を推定し、推定位置を使用して動的セルを使用してロボットの目を移動します。
• 感情的なステータスの認識：ユーザーの音声入力を通じて感情状態を認識し、GPT-3.5ターボを使用してカウンセラーと話をするかのようにユーザーと話をします。
• 音声出力関数：TTS APIは、ユーザーとユーザーと通信するか、さまざまな通知を提供します。

ハードウェアアーキテクチャ

---

ワークフロー＆nodegraph

---

インストール

---

 cd ~ /catkin_ws/src
git clone https://github.com/ggh-png/EMOTIROBOT.git
git clone https://github.com/ROBOTIS-GIT/DynamixelSDK.git
cd ~ /catkin_ws && catkin_make

pip install pyaudio
pip install google-cloud-speech
pip install google-cloud-texttospeech
pip install playsound
pip install six
pip install openai

打ち上げ

---

roslaunch EMOTI_core EMOTI_core.launch