Apple Inspired AI Calculator using Computer Vision and GenAI

حاسبة AI المستوحاة من Apple باستخدام رؤية الكمبيوتر و Genai

مقدمة

حاسبة AI المستوحاة من Apple هي مشروع متقدم مصمم لمعالجة المشكلات الرياضية باستخدام التكنولوجيا المتطورة. من خلال الاستفادة من رؤية الكمبيوتر من خلال OpenCV و AI التوليدي عبر Google Gemini AI ، تتيح هذه الآلة الحاسبة للمستخدمين رسم تعبيرات رياضية مباشرة على الشاشة. يفسر نموذج الذكاء الاصطناعي هذه المدخلات البصرية لتقديم حلول دقيقة ومفصلة ، مما يجعل الحسابات المعقدة بديهية ويمكن الوصول إليها. مستوحى من وظائف حاسبة Apple iPad ، يعزز هذا المشروع تجربة المستخدم مع إمكانيات الذكاء الاصطناعي المتطورة ، مما يوفر الدقة وسهولة الاستخدام.

جدول المحتويات

1. التقنيات والمهارات الرئيسية
2. تثبيت
3. الاستخدام
4. سمات
5. المساهمة
6. رخصة
7. اتصال

التقنيات والمهارات الرئيسية

• بيثون
• رؤية الكمبيوتر
• OpenCV
• وسادة
• MediPipe
• جوجل توليد الذكاء الاصطناعي
• numpy
• التدفق

تثبيت

لتشغيل هذا المشروع ، تحتاج إلى تثبيت الحزم التالية:

 pip install opencv - python
pip install pillow
pip install mediapipe
pip install google - generativeai
pip install numpy
pip install streamlit
pip install streamlit_extras

الاستخدام

لاستخدام هذا المشروع ، اتبع هذه الخطوات:

1. استنساخ المستودع: git clone https://github.com/gopiashokan/Apple-Inspired-AI-Calculator.git
2. قم بتثبيت الحزم المطلوبة: pip install -r requirements.txt
3. أضف مفتاح Google API إلى ملف .env .
4. قم بتشغيل تطبيق SPEREMLIT: streamlit run app.py
5. الوصول إلى التطبيق في متصفحك على http://localhost:8501

سمات

موجز كاميرا الويب الحية:

• تهيئة كاميرا الويب: تستخدم OpenCV لتهيئة كاميرا الويب والوصول إليها ، مما يتيح التقاط مستمر من تغذية الفيديو الحية. يضمن هذا الإعداد التفاعل في الوقت الفعلي مع مدخلات المستخدم.

• معالجة إطار الصورة: يلتقط كل إطار صورة بتنسيق BGR الافتراضي ويطبق خطوات المعالجة الأساسية الأساسية. يتضمن ذلك تغيير حجم التوحيد ، والتقليب للتوجه الصحيح ، والتحويل إلى تنسيق RGB للتوافق مع متطلبات إدخال نموذج الذكاء الاصطناعى.

التحكم في الإيماءات مع MediPipe:

• الكشف عن لفتة اليد: يستخدم MediaPipe لتحديد وتتبع الإيماءات اليدوية في الوقت الفعلي. تتيح هذه المكتبة اكتشافًا دقيقًا لمعالم اليد ، مما يسمح للنظام بتفسير حركات ومواقف الأصابع المختلفة.

• التصور التاريخي والاستخراج: يرسم المعالم على اليد المكتشفة ويستخرج إحداثيات المنشأ لكل معلم. هذه الإحداثيات مهمة للتعرف بدقة على الإيماءات ، والتي بدورها تتحكم في وظائف مختلفة داخل التطبيق.

الضوابط القائمة على الإيماءات:

• ✍ ارسم مشاكل الرياضيات: رسم مشاكل رياضية عن طريق رفع أصابع الإبهام والفهرس.
• ️ تحرك: انتقل على الشاشة عن طريق رفع الإبهام والفهرس والأصابع الوسطى.
• ؟ محتوى محو: امسح أي محتوى رسمه عن طريق الخطأ عن طريق تنشيط وضع المسح عن طريق رفع الإبهام والأصابع الوسطى.
• ️ إعادة تعيين قماش: قم بمسح قماش الرسم بأكمله عن طريق رفع الأصابع الإبهام والخنصر.
• ؟ أرسل إلى نموذج الذكاء الاصطناعي: إرسال الرسم للتحليل عن طريق رفع الفهرس والأصابع الوسطى.

الرسم والمزج:

• إدارة قماش: تنشئ قماش رسم مخصص يتراكب تغذية الفيديو الحية. تتيح هذه القماش للمستخدمين رسم مشاكل رياضية مباشرة على الشاشة ، مما يوفر تجربة سلسة وتفاعلية.

• مزج الصور: يدمج المحتوى المرسوم مع موجز الفيديو المباشر عن طريق مزج كلتا الصورتين. تضمن هذه العملية عرض رسومات المستخدم بدقة على أعلى الخلاصة الحية ، مع الحفاظ على عرض مرئي واضح ومتماسك.

تكامل الذكاء الاصطناعي:

• إعداد API وتهيئة النموذج: يقوم بتكوين مكتبة Google Generative AI من خلال دمجها مع مفتاح API صالح. تهيئة نموذج Gemini 1.5 Flash ، وإعداده لمعالجة وتحليل بيانات الإدخال من الرسم.

• توليد الحلول: يرسل الصورة المعالجة إلى جانب موجه الإدخال إلى نموذج الذكاء الاصطناعى. إنه يولد حلولًا مفصلة للمشاكل الرياضية الموضحة ، مما يوفر نتائج دقيقة وشاملة بناءً على المدخلات البصرية.

تطبيق SPERTELIT:

• الواجهة التفاعلية: تم تطويره باستخدام STREMELIT ، ويوفر هذا التطبيق واجهة سهلة الاستخدام وتفاعلية. يدمج جميع ميزات المشروع بسلاسة ، مما يسمح للمستخدمين بالتفاعل بسهولة مع حاسبة الذكاء الاصطناعي وأداء المهام مثل الرسم والتحكم في الإيماءات ومشاهدة حلول.

• التفاعل في الوقت الفعلي: يوفر تطبيق SPEREMLIT ملاحظات وتحديثات في الوقت الفعلي ، مما يضمن أن يتمكن المستخدمون من رؤية رسوماتهم ونتائجهم على الفور. تعزز هذه الواجهة الديناميكية تجربة المستخدم الإجمالية ، مما يجعلها بديهية وفعالة لاستخدام الآلة الحاسبة التي تعمل بالنيابة.

؟ مشروع الفيديو التجريبي: https://youtu.be/hxfbblopn6i

مراجع:

• التدفق: https://docs.streamlit.io/
• OpenCV: https://docs.opencv.org/4.x/d6/d00/tutorial_py_root.html
• وسادة: https://pillow.readthedocs.io/en/stable/
• MediaPipe: https://ai.google.dev/edge/mediapipe/solutions/vision/hand_landmarker
• Google Gemini AI: https://ai.google.dev/

المساهمة

مساهمات في هذا المشروع مرحب بها! إذا واجهت أي مشكلات أو لديك اقتراحات للتحسينات ، فلا تتردد في تقديم طلب سحب.

رخصة

هذا المشروع مرخص بموجب ترخيص معهد ماساتشوستس للتكنولوجيا. يرجى مراجعة ملف الترخيص لمزيد من التفاصيل.

اتصال

؟ البريد الإلكتروني: [email protected]

LinkedIn: LinkedIn.com/in/gopiashokan

للحصول على أي أسئلة أو استفسارات أخرى ، لا تتردد في التواصل. يسعدنا مساعدتك في أي استفسارات.