EMOTIBOT

العاطفة: تتبع الوجه وروبوت مستجيب للعاطفة

عضو:

Woosung Yun ، Enguu Choi ، Minhyuk Lee ، Daewan Kim ، Minho Kim ، Kim Kyung -Hyun ، Kyonoeng Go ، Kim Si -on (Sion Kim) ، Lee Hyun -Seung (Hyunseung Lee)

(انقر على الصورة أعلاه لرؤية الرابط التجريبي.)

العاطفة هو روبوت مع وجه من الخلايا الديناميكية. يقدر موضع وجه المستخدم ، مما يتيح لك رؤية عينيك باستخدام الخلايا الديناميكية. بالإضافة إلى ذلك ، إذا كان المستخدم يقول "High Feemberici" ، فإنه لديه القدرة على طرح سؤال عاطفي ، والذي يتم إدخاله في واجهة برمجة تطبيقات GPT والأجوبة وفقًا لحالة المستخدم العاطفية ، كما يستجيب المستشار مباشرة.

كومة التكنولوجيا

---

يستخدم Emotibot مكدس التكنولوجيا التالي:

• STT (الكلام إلى النص): يستخدم للتعرف على إدخال صوت المستخدم.
• TTS (نص إلى كلام): يستخدم لإخراج الصوت للروبوت.
• GPT-3.5 Turbo: يتم استخدامه لتحديد الحالة العاطفية للمستخدم والتحدث عنها.
• OpenCV: استخدم مصنف Cascade's OpenCV للتعرف على الوجه.
• ROS (noetic): يستخدم للتواصل بين العقد من الروبوتات.
• Dynamixel: يستخدم لتنفيذ حركة العين الروبوت.
• Arduino: يتم استخدام الروبوت لمعرفة حالة LED NEO.

وظيفة

---

وظيفة العاطفة هي كما يلي.

• وظيفة تقدير موقع الوجه: يقدر مصنف OpenCV Cascade موضع وجه المستخدم ويستخدم الموقع المقدر لتحريك عيون الروبوت باستخدام الخلايا الديناميكية.
• التعرف على الحالة العاطفية: تعرف على الحالة العاطفية من خلال مدخلات صوت المستخدم والتحدث مع المستخدم كما لو كان التحدث إلى المستشار باستخدام GPT-3.5 Turbo.
• وظيفة الإخراج الصوتي: يستخدم TTS API المستخدمين للتحدث مع المستخدمين أو تقديم مجموعة متنوعة من الإخطارات.

بنية الأجهزة

---

سير العمل و Nodegraph

---

ثَبَّتَ

---

 cd ~ /catkin_ws/src
git clone https://github.com/ggh-png/EMOTIROBOT.git
git clone https://github.com/ROBOTIS-GIT/DynamixelSDK.git
cd ~ /catkin_ws && catkin_make

pip install pyaudio
pip install google-cloud-speech
pip install google-cloud-texttospeech
pip install playsound
pip install six
pip install openai

يطلق

---

roslaunch EMOTI_core EMOTI_core.launch