Apple Inspired AI Calculator using Computer Vision and GenAI

เครื่องคิดเลข AI ที่ได้รับแรงบันดาลใจจาก Apple โดยใช้ Vision Computer และ Genai

การแนะนำ

เครื่องคิดเลข AI ที่ได้รับแรงบันดาลใจจาก Apple เป็นโครงการขั้นสูงที่ออกแบบมาเพื่อแก้ไขปัญหาทางคณิตศาสตร์โดยใช้เทคโนโลยีที่ทันสมัย ด้วยการใช้ประโยชน์จากการมองเห็นคอมพิวเตอร์ผ่าน OpenCV และ AI Generative ผ่าน Gemini AI ของ Google เครื่องคิดเลขนี้ช่วยให้ผู้ใช้สามารถวาดนิพจน์ทางคณิตศาสตร์ได้โดยตรงบนหน้าจอ โมเดล AI ตีความอินพุตภาพเหล่านี้เพื่อนำเสนอโซลูชันที่ถูกต้องและมีรายละเอียดทำให้การคำนวณที่ซับซ้อนใช้งานง่ายและเข้าถึงได้ แรงบันดาลใจจากฟังก์ชั่นของเครื่องคิดเลข Apple iPad โครงการนี้ช่วยเพิ่มประสบการณ์ผู้ใช้ด้วยความสามารถ AI ที่ซับซ้อนซึ่งให้ทั้งความแม่นยำและความสะดวกในการใช้งาน

สารบัญ

1. เทคโนโลยีและทักษะที่สำคัญ
2. การติดตั้ง
3. การใช้งาน
4. คุณสมบัติ
5. การบริจาค
6. ใบอนุญาต
7. ติดต่อ

เทคโนโลยีและทักษะที่สำคัญ

• งูหลาม
• วิสัยทัศน์คอมพิวเตอร์
• opencv
• หมอน
• สื่อกลาง
• Google Generative AI
• นม
• มีแสงสว่าง

การติดตั้ง

ในการเรียกใช้โครงการนี้คุณต้องติดตั้งแพ็คเกจต่อไปนี้:

 pip install opencv - python
pip install pillow
pip install mediapipe
pip install google - generativeai
pip install numpy
pip install streamlit
pip install streamlit_extras

การใช้งาน

หากต้องการใช้โครงการนี้ทำตามขั้นตอนเหล่านี้:

1. โคลนที่เก็บ: git clone https://github.com/gopiashokan/Apple-Inspired-AI-Calculator.git
2. ติดตั้งแพ็คเกจที่ต้องการ: pip install -r requirements.txt
3. เพิ่มคีย์ Google API ของคุณลงในไฟล์. .env
4. เรียกใช้แอพ streamlit: streamlit run app.py
5. เข้าถึงแอพในเบราว์เซอร์ของคุณที่ http://localhost:8501

คุณสมบัติ

ฟีดเว็บแคมสด:

• การเริ่มต้นเว็บแคม: ใช้ OpenCV เพื่อเริ่มต้นและเข้าถึงเว็บแคมทำให้สามารถจับภาพฟีดวิดีโอสดอย่างต่อเนื่องได้ การตั้งค่านี้ช่วยให้มั่นใจได้ว่าการโต้ตอบแบบเรียลไทม์กับอินพุตของผู้ใช้

• การประมวลผลเฟรมภาพ: จับภาพแต่ละเฟรมในรูปแบบ BGR เริ่มต้นและใช้ขั้นตอนการประมวลผลล่วงหน้าที่จำเป็น ซึ่งรวมถึงการปรับขนาดเพื่อความสม่ำเสมอการพลิกสำหรับการวางแนวที่ถูกต้องและการแปลงเป็นรูปแบบ RGB เพื่อให้สอดคล้องกับข้อกำหนดการป้อนข้อมูลของโมเดล AI

การควบคุมท่าทางด้วย MediaPipe:

• การตรวจจับท่าทางด้วยมือ: ใช้ MediaPipe เพื่อระบุและติดตามท่าทางมือแบบเรียลไทม์ ห้องสมุดนี้ช่วยให้การตรวจจับสถานที่สำคัญของมือได้อย่างแม่นยำช่วยให้ระบบสามารถตีความการเคลื่อนไหวและตำแหน่งที่หลากหลาย

• การสร้างภาพข้อมูลและการสกัดสถานที่สำคัญ: ดึงสถานที่สำคัญบนมือที่ตรวจพบและสกัดพิกัดต้นทางของแต่ละสถานที่สำคัญ พิกัดเหล่านี้มีความสำคัญต่อการจดจำท่าทางอย่างแม่นยำซึ่งจะควบคุมฟังก์ชั่นที่แตกต่างกันภายในแอปพลิเคชัน

การควบคุมตามท่าทาง:

• ✍ วาดปัญหาทางคณิตศาสตร์: วาดปัญหาทางคณิตศาสตร์โดยยกนิ้วหัวแม่มือและนิ้วมือ
• ️ ย้ายไปรอบ ๆ : นำทางหน้าจอโดยยกนิ้วหัวแม่มือดัชนีและนิ้วกลาง
• - ลบเนื้อหา: ลบเนื้อหาที่วาดผิดพลาดโดยการเปิดใช้งานโหมดลบโดยยกนิ้วหัวแม่มือและนิ้วกลาง
• ? ️ รีเซ็ตผืนผ้าใบ: ล้างผ้าใบวาดทั้งหมดโดยยกนิ้วโป้งและนิ้วสีชมพู
• - ส่งไปยังโมเดล AI: ส่งภาพวาดเพื่อการวิเคราะห์โดยยกดัชนีและนิ้วกลาง

การวาดและการผสม:

• การจัดการผืนผ้าใบ: สร้างผืนผ้าใบวาดโดยเฉพาะที่ซ้อนทับฟีดวิดีโอสด ผืนผ้าใบนี้ช่วยให้ผู้ใช้สามารถวาดปัญหาทางคณิตศาสตร์ลงบนหน้าจอได้โดยตรงให้ประสบการณ์ที่ราบรื่นและมีการโต้ตอบ

• การผสมรูปภาพ: รวมเนื้อหาที่วาดเข้ากับฟีดวิดีโอสดโดยผสมทั้งสองภาพ กระบวนการนี้ทำให้มั่นใจได้ว่าภาพวาดของผู้ใช้จะปรากฏขึ้นอย่างถูกต้องบนฟีดสดรักษาการนำเสนอภาพที่ชัดเจนและเหนียวแน่น

การรวม AI แบบกำเนิด:

• การตั้งค่า API และการเริ่มต้นโมเดล: กำหนดค่าไลบรารี Google Generative AI โดยรวมเข้ากับคีย์ API ที่ถูกต้อง เริ่มต้นโมเดล Gemini 1.5 Flash ตั้งค่าเป็นประมวลผลและวิเคราะห์ข้อมูลอินพุตจากการวาดภาพ

• การสร้างโซลูชัน: ส่งภาพที่ประมวลผลพร้อมกับพรอมต์อินพุตไปยังรุ่น AI มันสร้างโซลูชันโดยละเอียดสำหรับปัญหาทางคณิตศาสตร์ที่ปรากฎให้ผลลัพธ์ที่แม่นยำและครอบคลุมตามอินพุตภาพ

แอปพลิเคชัน Streamlit:

• อินเทอร์เฟซแบบอินเทอร์แอคทีฟ: พัฒนาโดยใช้ Streamlit แอปพลิเคชันนี้นำเสนออินเตอร์เฟสที่ใช้งานง่ายและอินเทอร์แอคทีฟ มันรวมคุณสมบัติทั้งหมดของโครงการอย่างราบรื่นช่วยให้ผู้ใช้สามารถโต้ตอบกับเครื่องคิดเลข AI ได้อย่างง่ายดายและดำเนินงานเช่นการวาดการควบคุมท่าทางและการดูโซลูชัน

• การโต้ตอบแบบเรียลไทม์: แอปพลิเคชัน Streamlit ให้ข้อเสนอแนะและการอัปเดตแบบเรียลไทม์เพื่อให้แน่ใจว่าผู้ใช้สามารถเห็นภาพวาดและผลลัพธ์ได้ทันที อินเทอร์เฟซแบบไดนามิกนี้ช่วยเพิ่มประสบการณ์การใช้งานโดยรวมทำให้ใช้งานง่ายและมีประสิทธิภาพในการใช้เครื่องคิดเลขที่ใช้ AI

- วิดีโอตัวอย่างโครงการ: https://youtu.be/hxfbblopn6i

ข้อมูลอ้างอิง:

• Streamlit: https://docs.streamlit.io/
• OpenCV: https://docs.opencv.org/4.x/d6/d00/tutorial_py_root.html
• หมอน: https://pillow.readthedocs.io/en/stable/
• MediaPipe: https://ai.google.dev/edge/mediapipe/solutions/vision/hand_landmarker
• Google Gemini AI: https://ai.google.dev/

การบริจาค

ยินดีต้อนรับโครงการนี้! หากคุณพบปัญหาใด ๆ หรือมีข้อเสนอแนะสำหรับการปรับปรุงโปรดส่งคำขอดึง

ใบอนุญาต

โครงการนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต MIT โปรดตรวจสอบไฟล์ใบอนุญาตสำหรับรายละเอียดเพิ่มเติม

ติดต่อ

- อีเมล: [email protected]

LinkedIn: linkedin.com/in/gopiashokan

สำหรับคำถามหรือคำถามเพิ่มเติมใด ๆ อย่าลังเลที่จะติดต่อ เรายินดีที่จะช่วยเหลือคุณในการค้นหาใด ๆ