Apple Inspired AI Calculator using Computer Vision and GenAI

Calculatrice d'IA inspirée d'Apple à l'aide de la vision par ordinateur et Genai

Introduction

La calculatrice d'IA inspirée d'Apple est un projet avancé conçu pour résoudre les problèmes mathématiques en utilisant la technologie de pointe. En tirant parti de la vision de l'ordinateur via OpenCV et Generative IA via Gemini AI de Google, cette calculatrice permet aux utilisateurs de dessiner des expressions mathématiques directement à l'écran. Le modèle AI interprète ces entrées visuelles pour fournir des solutions précises et détaillées, ce qui rend les calculs complexes intuitifs et accessibles. Inspiré par les fonctionnalités de la calculatrice d'Apple iPad, ce projet améliore l'expérience utilisateur avec des capacités d'IA sophistiquées, fournissant à la fois la précision et la facilité d'utilisation.

Table des matières

1. Technologies et compétences clés
2. Installation
3. Usage
4. Caractéristiques
5. Contributif
6. Licence
7. Contact

Technologies et compétences clés

• Python
• Vision par ordinateur
• Opencv
• Oreiller
• Médiat
• Google génératif AI
• Nombant
• Rationaliser

Installation

Pour exécuter ce projet, vous devez installer les packages suivants:

 pip install opencv - python
pip install pillow
pip install mediapipe
pip install google - generativeai
pip install numpy
pip install streamlit
pip install streamlit_extras

Usage

Pour utiliser ce projet, suivez ces étapes:

1. Clone The Repository: git clone https://github.com/gopiashokan/Apple-Inspired-AI-Calculator.git
2. Installez les packages requis: pip install -r requirements.txt
3. Ajoutez votre clé API Google au fichier .env .
4. Exécutez l'application Streamlit: streamlit run app.py
5. Accédez à l'application dans votre navigateur sur http://localhost:8501

Caractéristiques

Flux de webcam en direct:

• Initialisation de la webcam: utilise OpenCV pour initialiser et accéder à la webcam, permettant une capture continue du flux vidéo en direct. Cette configuration garantit une interaction en temps réel avec l'entrée de l'utilisateur.

• Traitement de la trame d'image: capture chaque trame d'image au format BGR par défaut et applique des étapes de prétraitement essentielles. Cela comprend le redimensionnement pour l'uniformité, le retournement de l'orientation correcte et la conversion au format RVB en alignant les exigences d'entrée du modèle d'IA.

Contrôle des gestes avec Medioppe:

• Détection des gestes de la main: utilise Medioppe pour identifier et suivre les gestes de la main en temps réel. Cette bibliothèque permet une détection précise des repères à main, permettant au système d'interpréter divers mouvements et positions des doigts.

• Visualisation et extraction historiques: attire des repères sur la main détectée et extrait les coordonnées d'origine de chaque point de repère. Ces coordonnées sont cruciales pour reconnaître avec précision les gestes, qui contrôlent à leur tour différentes fonctionnalités au sein de l'application.

Contrôles basés sur les gestes:

• ✍️ Dessinez des problèmes mathématiques: dessinez des problèmes mathématiques en soulevant le pouce et en indexant les doigts.
• ? ️ Déplacez-vous: naviguez dans l'écran en soulevant le pouce, l'index et les doigts du milieu.
• ? Effacer le contenu: effacez tout contenu dessiné par erreur en activant le mode Effacement en soulevant le pouce et les doigts du milieu.
• ? ️ Réinitialiser la toile: effacer toute la toile de dessin en soulevant le pouce et les doigts roses.
• ? Envoyer au modèle AI: Soumettez le dessin pour l'analyse en soulevant l'index et les doigts du milieu.

Dessin et mélange:

• Gestion de la toile: établit une toile de dessin dédiée qui superpose le flux vidéo en direct. Cette toile permet aux utilisateurs de dessiner des problèmes mathématiques directement sur l'écran, offrant une expérience transparente et interactive.

• Mélange d'image: intègre le contenu dessiné avec le flux vidéo en direct en mélangeant les deux images. Ce processus garantit que les dessins de l'utilisateur sont affichés avec précision au-dessus du flux en direct, en maintenant une présentation visuelle claire et cohésive.

Intégration générative de l'IA:

• Configuration de l'API et initialisation du modèle: configure la bibliothèque Générative Générative Google en l'intégrant à une clé API valide. Initialise le modèle Gemini 1.5 Flash , en le configurant pour traiter et analyser les données d'entrée du dessin.

• Génération de solutions: envoie l'image traitée avec l'invite d'entrée du modèle AI. Il génère des solutions détaillées pour les problèmes mathématiques représentés, fournissant des résultats précis et complets basés sur l'entrée visuelle.

Application rationalisée:

• Interface interactive: développée à l'aide de Streamlit, cette application propose une interface conviviale et interactive. Il intègre de manière transparente toutes les fonctionnalités du projet, permettant aux utilisateurs d'interagir facilement avec la calculatrice d'IA et d'effectuer des tâches telles que le dessin, le contrôle des gestes et la visualisation.

• Interaction en temps réel: l'application Streamlit fournit des commentaires et des mises à jour en temps réel, garantissant que les utilisateurs peuvent voir leurs dessins et leurs résultats immédiatement. Cette interface dynamique améliore l'expérience utilisateur globale, ce qui le rend intuitif et efficace pour utiliser la calculatrice alimentée par AI.

? Video de démonstration du projet: https://youtu.be/hxfbblopn6i

Références:

• Streamlit: https://docs.Streamlit.io/
• OpenCV: https://docs.opencv.org/4.x/d6/d00/tutorial_py_root.html
• Oreiller: https://pillow.readthedocs.io/en/stable/
• Medioppe: https://ai.google.dev/edge/mediapipe/solutions/vision/hand_landmarker
• Google Gemini AI: https://ai.google.dev/

Contributif

Les contributions à ce projet sont les bienvenues! Si vous rencontrez des problèmes ou avez des suggestions d'amélioration, n'hésitez pas à soumettre une demande de traction.

Licence

Ce projet est autorisé sous la licence du MIT. Veuillez consulter le fichier de licence pour plus de détails.

Contact

? Courriel: [email protected]

LinkedIn: LinkedIn.com/in/gopiaShokan

Pour toute autre question ou demandes de renseignements, n'hésitez pas à tendre la main. Nous sommes heureux de vous aider dans toutes les questions.