Apple Inspired AI Calculator using Computer Vision and GenAI

Calculadora de IA inspirada na Apple usando visão computacional e genai

Introdução

A calculadora de IA inspirada na Apple é um projeto avançado projetado para resolver problemas matemáticos usando a tecnologia de ponta. Ao alavancar a visão computacional através do OpenCV e da IA ​​generativa através da AI Gemini do Google, esta calculadora permite que os usuários desenhem expressões matemáticas diretamente na tela. O modelo de IA interpreta essas entradas visuais para fornecer soluções precisas e detalhadas, tornando os cálculos complexos intuitivos e acessíveis. Inspirado na funcionalidade da calculadora do Apple iPad, este projeto aprimora a experiência do usuário com recursos sofisticados de IA, fornecendo precisão e facilidade de uso.

Índice

1. Tecnologias e habilidades principais
2. Instalação
3. Uso
4. Características
5. Contribuindo
6. Licença
7. Contato

Tecnologias e habilidades principais

• Python
• Visão computacional
• OpenEncv
• Travesseiro
• Mediapipe
• Google IA generativa
• Numpy
• Simplit

Instalação

Para executar este projeto, você precisa instalar os seguintes pacotes:

 pip install opencv - python
pip install pillow
pip install mediapipe
pip install google - generativeai
pip install numpy
pip install streamlit
pip install streamlit_extras

Uso

Para usar este projeto, siga estas etapas:

1. Clone o repositório: git clone https://github.com/gopiashokan/Apple-Inspired-AI-Calculator.git
2. Instale os pacotes necessários: pip install -r requirements.txt
3. Adicione sua chave da API do Google ao arquivo .env .
4. Execute o aplicativo StreamLit: streamlit run app.py
5. Acesse o aplicativo em seu navegador em http://localhost:8501

Características

Feed ao vivo da webcam:

• Inicialização da webcam: utiliza o OpenCV para inicializar e acessar a webcam, permitindo a captura contínua de feed de vídeo ao vivo. Essa configuração garante a interação em tempo real com a entrada do usuário.

• Processamento do quadro da imagem: captura cada quadro de imagem no formato BGR padrão e aplica etapas essenciais de pré -processamento. Isso inclui redimensionar a uniformidade, o inversão para a orientação correta e a conversão em formato RGB para se alinhar com os requisitos de entrada do modelo de IA.

Controle de gestos com MediaPipe:

• Detecção de gestos manuais: utiliza MediaPipe para identificar e rastrear gestos manuais em tempo real. Esta biblioteca permite a detecção precisa de marcos de mão, permitindo que o sistema interprete vários movimentos e posições dos dedos.

• Visualização e extração marcantes: desenha marcos na mão detectada e extrai as coordenadas de origem de cada marco. Essas coordenadas são cruciais para reconhecer com precisão os gestos, que por sua vez controlam diferentes funcionalidades dentro do aplicativo.

Controles baseados em gestos:

• Problemas Desenhe problemas de matemática: desenhe problemas matemáticos, levantando os dedos do polegar e do índice.
• ? ️ Mova -se: Navegue pela tela levantando os dedos do polegar, índice e médio.
• ? Apagar o conteúdo: Apague qualquer conteúdo desenhado por engano ativando o modo Apagar, levantando o polegar e os dedos do meio.
• ? Aste Reset Canvas: Limpe a tela de desenho inteira levantando os dedos do polegar e mindinho.
• ? Enviar para o modelo de IA: envie o desenho para análise, levantando o índice e os dedos do meio.

Desenho e mistura:

• Gerenciamento de lona: estabelece uma tela de desenho dedicada que sobrepõe o feed de vídeo ao vivo. Essa tela permite que os usuários desenhem problemas matemáticos diretamente na tela, proporcionando uma experiência perfeita e interativa.

• Mistura de imagens: integra o conteúdo desenhado com o feed de vídeo ao vivo, misturando as duas imagens. Esse processo garante que os desenhos do usuário sejam exibidos com precisão na parte superior do feed ao vivo, mantendo uma apresentação visual clara e coesa.

Integração generativa de IA:

• Configuração da API e inicialização do modelo: configura a biblioteca de IA generativa do Google, integrando -a com uma chave de API válida. Inicializa o modelo Gemini 1.5 Flash , configurando -o para processar e analisar dados de entrada do desenho.

• Geração da solução: envia a imagem processada junto com o prompt de entrada para o modelo de IA. Ele gera soluções detalhadas para os problemas matemáticos retratados, fornecendo resultados precisos e abrangentes com base na entrada visual.

Aplicativo de streamlit:

• Interface interativa: desenvolvido usando o streamlit, este aplicativo oferece uma interface amigável e interativa. Ele integra perfeitamente todos os recursos do projeto, permitindo que os usuários interajam facilmente com a calculadora da IA ​​e executem tarefas como desenho, controle de gestos e soluções de visualização.

• Interação em tempo real: o aplicativo Streamlit fornece feedback e atualizações em tempo real, garantindo que os usuários possam ver seus desenhos e resultados imediatamente. Essa interface dinâmica aprimora a experiência geral do usuário, tornando-o intuitivo e eficiente para usar a calculadora movida a IA.

? Vídeo de demonstração do projeto: https://youtu.be/hxfbblopn6i

Referências:

• Streamlit: https://docs.streamlit.io/
• OpenCV: https://docs.opencv.org/4.x/d6/d00/tutorial_py_root.html
• Travesseiro: https://pillow.readthedocs.io/en/stable/
• MediaPipe: https://ai.google.dev/edge/mediapipe/solutions/vision/hand_landmarker
• Google Gemini AI: https://ai.google.dev/

Contribuindo

As contribuições para este projeto são bem -vindas! Se você encontrar algum problema ou ter sugestões de melhorias, sinta -se à vontade para enviar uma solicitação de tração.

Licença

Este projeto está licenciado sob a licença do MIT. Revise o arquivo de licença para obter mais detalhes.

Contato

? E -mail: [email protected]

LinkedIn: LinkedIn.com/in/gopiashokan

Para outras perguntas ou consultas, fique à vontade para alcançar. Estamos felizes em ajudá -lo com qualquer dúvida.