Apple Inspired AI Calculator using Computer Vision and GenAI

Calculadora de IA inspirada en Apple utilizando visión por computadora y Genai

Introducción

La calculadora de IA inspirada en Apple es un proyecto avanzado diseñado para abordar problemas matemáticos utilizando tecnología de vanguardia. Al aprovechar la visión por computadora a través de OpenCV y la IA generativa a través de la IA Gemini de Google, esta calculadora permite a los usuarios dibujar expresiones matemáticas directamente en la pantalla. El modelo AI interpreta estas entradas visuales para ofrecer soluciones precisas y detalladas, lo que hace que los cálculos complejos sean intuitivos y accesibles. Inspirada en la funcionalidad de la calculadora de iPad de Apple, este proyecto mejora la experiencia del usuario con capacidades de IA sofisticadas, proporcionando precisión y facilidad de uso.

Tabla de contenido

1. Tecnologías y habilidades clave
2. Instalación
3. Uso
4. Características
5. Que contribuye
6. Licencia
7. Contacto

Tecnologías y habilidades clave

• Pitón
• Visión por computadora
• Opencvv
• Almohada
• Calzoncillo
• Google AI generativo
• Numpy
• Racionalizar

Instalación

Para ejecutar este proyecto, debe instalar los siguientes paquetes:

 pip install opencv - python
pip install pillow
pip install mediapipe
pip install google - generativeai
pip install numpy
pip install streamlit
pip install streamlit_extras

Uso

Para usar este proyecto, siga estos pasos:

1. Clone The Reposyory: git clone https://github.com/gopiashokan/Apple-Inspired-AI-Calculator.git
2. Instale los paquetes requeridos: pip install -r requirements.txt
3. Agregue su clave de Google API al archivo .env .
4. Ejecute la aplicación Strewlit: streamlit run app.py
5. Acceda a la aplicación en su navegador en http://localhost:8501

Características

Feed en vivo de la webcam:

• Inicialización de la cámara web: utiliza OpenCV para inicializar y acceder a la cámara web, lo que permite la captura continua de la alimentación de video en vivo. Esta configuración garantiza la interacción en tiempo real con la entrada del usuario.

• Procesamiento del marco de imagen: captura cada marco de imagen en el formato BGR predeterminado y aplica pasos de preprocesamiento esenciales. Esto incluye cambiar el tamaño de la uniformidad, el volteo para la orientación correcta y la conversión al formato RGB para alinearse con los requisitos de entrada del modelo AI.

Control de gestos con MediaPipe:

• Detección de gestos manuales: utiliza MediaPipe para identificar y rastrear los gestos de las manos en tiempo real. Esta biblioteca permite una detección precisa de puntos de referencia de manos, lo que permite que el sistema interprete varios movimientos y posiciones de los dedos.

• Visualización y extracción histórica: dibuja puntos de referencia en la mano detectada y extrae las coordenadas de origen de cada punto de referencia. Estas coordenadas son cruciales para reconocer con precisión los gestos, que a su vez controlan las diferentes funcionalidades dentro de la aplicación.

Controles basados ​​en gestos:

• ✍️ Dibuja problemas matemáticos: dibuje problemas matemáticos levantando el pulgar e índice de dedos.
• ? ️ Mueve: navegue la pantalla levantando el pulgar, el índice y los dedos intermedios.
• ? Borrar contenido: borre cualquier contenido por error activando el modo de borrado levantando el pulgar y los dedos medios.
• ? ️ Reiniciar el lienzo: Borre todo el lienzo de dibujo levantando el pulgar y los dedos rosados.
• ? Enviar al modelo AI: Envíe el sorteo para el análisis levantando el índice y los dedos medios.

Dibujo y mezcla:

• Gestión del lienzo: establece un lienzo de dibujo dedicado que superpone la feed de video en vivo. Este lienzo permite a los usuarios dibujar problemas matemáticos directamente en la pantalla, proporcionando una experiencia perfecta e interactiva.

• Mezcla de imágenes: integra el contenido dibujado con la alimentación de video en vivo mediante la combinación de ambas imágenes. Este proceso asegura que los dibujos del usuario se muestren con precisión en la parte superior de la alimentación viva, manteniendo una presentación visual clara y cohesiva.

Integración generativa de IA:

• Configuración de API y inicialización del modelo: configura la biblioteca de AI generativa de Google integrándola con una clave API válida. Inicializa el modelo Gemini 1.5 Flash , configurándolo para procesar y analizar los datos de entrada del dibujo.

• Generación de soluciones: envía la imagen procesada junto con la solicitud de entrada al modelo AI. Genera soluciones detalladas para los problemas matemáticos representados, proporcionando resultados precisos e integrales basados ​​en la entrada visual.

Aplicación de transmisión:

• Interfaz interactiva: desarrollada usando Streamlit, esta aplicación ofrece una interfaz fácil e interactiva. Integra perfectamente todas las características del proyecto, lo que permite a los usuarios interactuar fácilmente con la calculadora de IA y realizar tareas como dibujo, control de gestos y soluciones de visualización.

• Interacción en tiempo real: la aplicación Streamlit proporciona comentarios y actualizaciones en tiempo real, asegurando que los usuarios puedan ver sus dibujos y resultados de inmediato. Esta interfaz dinámica mejora la experiencia general del usuario, por lo que es intuitiva y eficiente usar la calculadora con AI.

? Video de demostración del proyecto: https://youtu.be/hxfbblopn6i

Referencias:

• Streamlit: https://docs.streamlit.io/
• Opencv: https://docs.opencv.org/4.x/d6/d00/tutorial_py_root.html
• Almohada: https://pillow.readthedocs.io/en/stable/
• MediaPipe: https://ai.google.dev/edge/mediapipe/solutions/vision/hand_landmarker
• Google Gemini AI: https://ai.google.dev/

Que contribuye

¡Las contribuciones a este proyecto son bienvenidas! Si encuentra algún problema o tiene sugerencias de mejoras, no dude en enviar una solicitud de extracción.

Licencia

Este proyecto tiene licencia bajo la licencia MIT. Revise el archivo de licencia para obtener más detalles.

Contacto

? Correo electrónico: [email protected]

LinkedIn: Linkedin.com/in/gopiashokan

Para obtener más preguntas o consultas, no dude en comunicarse. Estamos felices de ayudarlo con cualquier consulta.