Apple Inspired AI Calculator using Computer Vision and GenAI

ИГ калькулятор, вдохновленный яблоком, используя компьютерное зрение и Genai

Введение

Вдохновленный Apple Calculator AI-это расширенный проект, предназначенный для решения математических задач с использованием передовых технологий. Используя компьютерное зрение через OpenCV и генеративный AI через AI Google Gemini, этот калькулятор позволяет пользователям рисовать математические выражения непосредственно на экране. Модель ИИ интерпретирует эти визуальные входы для предоставления точных и подробных решений, делая сложные расчеты интуитивными и доступными. Вдохновленный функциональностью калькулятора Apple iPad, этот проект улучшает пользовательский опыт со сложными возможностями ИИ, обеспечивая как точность, так и простоту использования.

Оглавление

1. Ключевые технологии и навыки
2. Установка
3. Использование
4. Функции
5. Внося
6. Лицензия
7. Контакт

Ключевые технологии и навыки

• Питон
• Компьютерное зрение
• OpenCV
• Подушка
• MediaPipe
• Google Generative AI
• Numpy
• Поток

Установка

Чтобы запустить этот проект, вам нужно установить следующие пакеты:

 pip install opencv - python
pip install pillow
pip install mediapipe
pip install google - generativeai
pip install numpy
pip install streamlit
pip install streamlit_extras

Использование

Чтобы использовать этот проект, следуйте этим шагам:

1. Клон репозиторий: git clone https://github.com/gopiashokan/Apple-Inspired-AI-Calculator.git
2. Установите требуемые пакеты: pip install -r requirements.txt
3. Добавьте свой ключ Google API в файл .env .
4. Запустите приложение Streamlit: streamlit run app.py
5. Доступ к приложению в вашем браузере по адресу http://localhost:8501

Функции

Live Webcam Feed:

• Инициализация веб -камеры: использует OpenCV для инициализации и доступа к веб -камере, что позволяет непрерывно схватить прямую трансляцию видео. Эта настройка обеспечивает взаимодействие в реальном времени с входом пользователя.

• Обработка кадров изображения: захватывает каждую кадр изображения в формате BGR по умолчанию и применяет важные шаги предварительной обработки. Это включает в себя изменение размера для однородности, переворот для правильной ориентации и преобразование в формат RGB, чтобы соответствовать требованиям ввода модели AI.

Управление жестами с помощью MediaPipe:

• Обнаружение жестов рук: использует MediaPipe для выявления и отслеживания жестов рук в режиме реального времени. Эта библиотека обеспечивает точное обнаружение ручных достопримечательностей, позволяя системе интерпретировать различные движения и положения пальцев.

• Ориентировочная визуализация и извлечение: привлечет достопримечательности на обнаруженной руке и извлекает координаты происхождения каждой достопримечательности. Эти координаты имеют решающее значение для точного распознавания жестов, которые, в свою очередь, контролируют различные функции в приложении.

Управление на основе жестов:

• ✍ Нарисуйте математические задачи: нарисуйте математические проблемы, подняв пальцы большого пальца и указания.
• ?
• ? Стешите содержание: стирайте любое ошибочно нарисованное содержание путем активации режима стирания путем поднятия большого пальца и средних пальцев.
• ? ️ сбросить холст: очистите весь рисунок, подняв большой палец и розовые пальцы.
• ? Отправить в модель искусственного интеллекта: отправьте рисунок для анализа, подняв индекс и средние пальцы.

Рисование и смешивание:

• Управление холстом: устанавливает выделенный холст рисования, который накладывает прямую трансляцию видео. Этот холст позволяет пользователям рисовать математические проблемы непосредственно на экране, обеспечивая бесшовный и интерактивный опыт.

• Смешивание изображений: интегрирует нарисованный контент с прямым видео каналом, смешивая оба изображения. Этот процесс гарантирует, что чертежи пользователя точно отображаются поверх живого канала, поддерживая четкое и сплоченное визуальное представление.

Генеративная интеграция ИИ:

• Настройка API и инициализация модели: настраивает библиотеку Google Generative AI, интегрируя ее с действительным ключом API. Инициализирует модель Gemini 1.5 Flash , настраивая ее для обработки и проанализируйте входные данные с чертежа.

• Генерация решения: отправляет обработанное изображение вместе с подсказкой ввода в модель ИИ. Он генерирует подробные решения для изображенных математических задач, предоставляя точные и всеобъемлющие результаты на основе визуального ввода.

Приложение для стрижки:

• Интерактивный интерфейс: разработан с использованием Streamlit, это приложение предлагает удобный и интерактивный интерфейс. Он плавно интегрирует все функции проекта, позволяя пользователям легко взаимодействовать с калькулятором ИИ и выполнять такие задачи, как рисунок, управление жестами и просмотр решений.

• Взаимодействие в реальном времени: приложение Streamlit предоставляет обратную связь и обновления в реальном времени, гарантируя, что пользователи могут немедленно увидеть свои чертежи и результаты. Этот динамический интерфейс улучшает общий опыт пользователя, что делает его интуитивным и эффективным для использования калькулятора с AI.

? Демо -видео проекта: https://youtu.be/hxfbblopn6i

Ссылки:

• Streamlit: https://docs.streamlit.io/
• OpenCV: https://docs.opencv.org/4.x/d6/d00/tutorial_py_root.html
• Подушка: https://pillow.readthedocs.io/en/stable/
• MediaPipe: https://ai.google.dev/edge/mediapipe/solutions/vision/hand_landmarker
• Google Gemini AI: https://ai.google.dev/

Внося

Вклад в этот проект приветствуются! Если вы сталкиваетесь с какими -либо проблемами или у вас есть предложения по улучшению, пожалуйста, не стесняйтесь отправлять запрос на привлечение.

Лицензия

Этот проект лицензирован по лицензии MIT. Пожалуйста, просмотрите файл лицензии для получения более подробной информации.

Контакт

? Электронная почта: [email protected]

LinkedIn: LinkedIn.com/in/gopiashokan

Для любых дополнительных вопросов или запросов не стесняйтесь обратиться. Мы рады помочь вам с любыми вопросами.