Apple Inspired AI Calculator using Computer Vision and GenAI

使用计算机视觉和Genai的苹果启发的AI计算器

介绍

苹果风格的AI计算器是一个高级项目，旨在使用最先进的技术解决数学问题。通过通过OPENCV和通过Google的Google的Gemini AI来利用计算机视觉，该计算器允许用户直接在屏幕上绘制数学表达式。 AI模型将这些视觉输入解释以提供准确详细的解决方案，从而使复杂的计算直观且易于访问。受Apple iPad计算器功能的启发，该项目通过精致的AI功能增强了用户体验，提供了精确和易用性。

目录

1. 关键技术和技能
2. 安装
3. 用法
4. 特征
5. 贡献
6. 执照
7. 接触

关键技术和技能

• Python
• 计算机视觉
• OPENCV
• 枕头
• Mediapipe
• Google Generative AI
• numpy
• 简化

安装

要运行此项目，您需要安装以下软件包：

 pip install opencv - python
pip install pillow
pip install mediapipe
pip install google - generativeai
pip install numpy
pip install streamlit
pip install streamlit_extras

用法

要使用此项目，请执行以下步骤：

1. 克隆存储库： git clone https://github.com/gopiashokan/Apple-Inspired-AI-Calculator.git
2. 安装所需的软件包： pip install -r requirements.txt
3. 将您的Google API密钥添加到.env文件中。
4. 运行Sparlit App： streamlit run app.py
5. http://localhost:8501在浏览器中访问该应用程序

特征

实时网络摄像头提要：

• 网络摄像头初始化：利用OPENCV来初始化和访问网络摄像头，从而可以连续捕获实时视频提要。此设置可确保与用户输入的实时互动。

• 图像框架处理：以默认BGR格式捕获每个图像框架，并应用基本的预处理步骤。这包括调整均匀性的大小，翻转以正确方向以及转换为RGB格式以与AI模型的输入要求保持一致。

用MediaPipe控制手势：

• 手势检测：利用MediaPipe实时识别和跟踪手势。该库可以精确检测手部地标，使系统可以解释各种手指的运动和位置。

• 具有里程碑意义的可视化和提取：在检测到的手上绘制地标，并提取每个地标的原点坐标。这些坐标对于准确识别手势至关重要，这反过来又控制应用程序中的不同功能。

基于手势的控件：

• ✍️提取数学问题：通过举起拇指和夹杂性手指来提出数学问题。
• ？配进四处走动：通过举起拇指，索引和中指来导航屏幕。
• ？擦除内容：通过举起拇指和中指通过激活擦除模式来删除任何错误绘制的内容。
• 重置帆布：通过举起拇指和小指的手指清除整个绘图帆布。
• ？发送到AI型号：通过举起索引和中指提出图纸进行分析。

绘画和混合：

• 帆布管理：建立一个专用的绘图画布，覆盖了实时视频供稿。该画布允许用户直接将数学问题直接绘制到屏幕上，从而提供无缝互动的体验。

• 图像混合：通过混合两个图像将绘制的内容与实时视频提要集成在一起。此过程确保用户的图纸准确地显示在实时饲料顶部，并保持清晰且具有凝聚力的视觉呈现。

生成AI集成：

• API设置和模型初始化：通过将其集成到有效的API密钥来配置Google Generative AI库。初始化Gemini 1.5 Flash模型，将其设置为处理并分析图纸中的输入数据。

• 解决方案生成：将处理的图像以及输入提示发送到AI模型。它为所描绘的数学问题生成详细的解决方案，根据视觉输入提供准确而全面的结果。

简化应用程序：

• 交互式界面：使用Sleatlit开发，此应用程序提供了用户友好且交互式界面。它无缝地集成了所有项目的功能，使用户可以轻松地与AI计算器进行交互，并执行诸如绘图，手势控制和查看解决方案之类的任务。

• 实时互动：简化应用程序提供了实时反馈和更新，以确保用户可以立即查看其图纸和结果。这个动态接口增强了整体用户体验，使使用AI驱动计算器的直观和高效。

？项目演示视频：https：//youtu.be/hxfbblopn6i

参考：

• 简化：https：//docs.streamlit.io/
• OPENCV：https：//docs.opencv.org/4.x/d6/d00/tutorial_py_py_root.html
• 枕头：https：//pillow.readthedocs.io/en/stable/
• MediaPipe：https：//ai.google.dev/edge/mediapipe/solutions/vision/vision/hand_landmarker
• Google Gemini AI：https：//ai.google.dev/

贡献

欢迎对该项目的贡献！如果您遇到任何问题或提出改进建议，请随时提交拉动请求。

执照

该项目已根据MIT许可获得许可。请查看许可证文件以获取更多详细信息。

接触

？电子邮件：[email protected]

LinkedIn：LinkedIn.com/in/gopiashokan

对于任何其他问题或查询，请随时接触。我们很乐意为您提供任何查询。