EMOTIBOT

Emotibot: การติดตามใบหน้าและหุ่นยนต์ตอบสนองทางอารมณ์

สมาชิก:

Woosung Yun, Inguu Choi, Minhyuk Lee, Daewan Kim, Minho Kim, Kim Kyung -Hyun, Kyonoeng Go, Kim Si -on (Sion Kim), Lee Hyun -seung (Hyunseung Lee)

(คลิกที่ภาพด้านบนเพื่อดูลิงค์สาธิต)

Emotibot เป็นหุ่นยนต์ที่มีใบหน้าของเซลล์ไดนามิก ประมาณตำแหน่งใบหน้าของผู้ใช้ช่วยให้คุณมองเห็นดวงตาของคุณโดยใช้เซลล์แบบไดนามิก นอกจากนี้หากผู้ใช้บอกว่า "High Emotici" มันมีความสามารถในการถามคำถามทางอารมณ์ซึ่งเป็นข้อมูลป้อนเข้าสู่ GPT API และคำตอบตามสถานะทางอารมณ์ของผู้ใช้ตามที่ผู้ให้คำปรึกษาตอบโดยตรง

สแต็คเทคโนโลยี

---

Emotibot ใช้สแต็คเทคโนโลยีต่อไปนี้:

• STT (คำพูดเป็นข้อความ): ใช้ในการจดจำการป้อนเสียงของผู้ใช้
• TTS (ข้อความเป็นคำพูด): ใช้สำหรับเอาต์พุตเสียงของหุ่นยนต์
• GPT-3.5 Turbo: มันถูกใช้เพื่อระบุและพูดคุยเกี่ยวกับสถานะทางอารมณ์ของผู้ใช้
• OpenCV: ใช้ตัวจําแนก Cascade ของ OpenCV สำหรับการจดจำใบหน้า
• ROS (noetic): ใช้สำหรับการสื่อสารระหว่างโหนดของหุ่นยนต์
• Dynamixel: ใช้ในการใช้การเคลื่อนไหวของดวงตาของหุ่นยนต์
• Arduino: หุ่นยนต์ใช้เพื่อค้นหาสถานะของ LED Neo

การทำงาน

---

ฟังก์ชั่นของ emotibot มีดังนี้

• ฟังก์ชั่นการประมาณตำแหน่งของใบหน้า: OpenCV Cascade Classifier ประมาณการตำแหน่งใบหน้าของผู้ใช้และใช้ตำแหน่งโดยประมาณเพื่อย้ายดวงตาของหุ่นยนต์โดยใช้เซลล์แบบไดนามิก
• การรับรู้สถานะทางอารมณ์: รับรู้สถานะทางอารมณ์ผ่านการป้อนข้อมูลเสียงของผู้ใช้และพูดคุยกับผู้ใช้ราวกับว่าพูดคุยกับที่ปรึกษาโดยใช้ Turbo GPT-3.5
• ฟังก์ชั่นเอาท์พุทเสียง: TTS API ใช้ผู้ใช้เพื่อพูดคุยกับผู้ใช้หรือให้การแจ้งเตือนที่หลากหลาย

สถาปัตยกรรมฮาร์ดแวร์

---

เวิร์กโฟลว์และ NodeGraph

---

ติดตั้ง

---

 cd ~ /catkin_ws/src
git clone https://github.com/ggh-png/EMOTIROBOT.git
git clone https://github.com/ROBOTIS-GIT/DynamixelSDK.git
cd ~ /catkin_ws && catkin_make

pip install pyaudio
pip install google-cloud-speech
pip install google-cloud-texttospeech
pip install playsound
pip install six
pip install openai

ปล่อย

---

roslaunch EMOTI_core EMOTI_core.launch