Apple Inspired AI Calculator using Computer Vision and GenAI

使用計算機視覺和Genai的蘋果啟發的AI計算器

介紹

蘋果風格的AI計算器是一個高級項目，旨在使用最先進的技術解決數學問題。通過通過OPENCV和通過Google的Google的Gemini AI來利用計算機視覺，該計算器允許用戶直接在屏幕上繪製數學表達式。 AI模型將這些視覺輸入解釋以提供準確詳細的解決方案，從而使復雜的計算直觀且易於訪問。受Apple iPad計算器功能的啟發，該項目通過精緻的AI功能增強了用戶體驗，提供了精確和易用性。

目錄

1. 關鍵技術和技能
2. 安裝
3. 用法
4. 特徵
5. 貢獻
6. 執照
7. 接觸

關鍵技術和技能

• Python
• 計算機視覺
• OPENCV
• 枕頭
• Mediapipe
• Google Generative AI
• numpy
• 簡化

安裝

要運行此項目，您需要安裝以下軟件包：

 pip install opencv - python
pip install pillow
pip install mediapipe
pip install google - generativeai
pip install numpy
pip install streamlit
pip install streamlit_extras

用法

要使用此項目，請執行以下步驟：

1. 克隆存儲庫： git clone https://github.com/gopiashokan/Apple-Inspired-AI-Calculator.git
2. 安裝所需的軟件包： pip install -r requirements.txt
3. 將您的Google API密鑰添加到.env文件中。
4. 運行Sparlit App： streamlit run app.py
5. http://localhost:8501在瀏覽器中訪問該應用程序

特徵

實時網絡攝像頭提要：

• 網絡攝像頭初始化：利用OPENCV來初始化和訪問網絡攝像頭，從而可以連續捕獲實時視頻提要。此設置可確保與用戶輸入的實時互動。

• 圖像框架處理：以默認BGR格式捕獲每個圖像框架，並應用基本的預處理步驟。這包括調整均勻性的大小，翻轉以正確方向以及轉換為RGB格式以與AI模型的輸入要求保持一致。

用MediaPipe控製手勢：

• 手勢檢測：利用MediaPipe實時識別和跟踪手勢。該庫可以精確檢測手部地標，使系統可以解釋各種手指的運動和位置。

• 具有里程碑意義的可視化和提取：在檢測到的手上繪製地標，並提取每個地標的原點坐標。這些坐標對於準確識別手勢至關重要，這反過來又控制應用程序中的不同功能。

基於手勢的控件：

• ✍️提取數學問題：通過舉起拇指和夾雜性手指來提出數學問題。
• ？配進四處走動：通過舉起拇指，索引和中指來導航屏幕。
• ？擦除內容：通過舉起拇指和中指通過激活擦除模式來刪除任何錯誤繪製的內容。
• 重置帆布：通過舉起拇指和小指的手指清除整個繪圖帆布。
• ？發送到AI型號：通過舉起索引和中指提出圖紙進行分析。

繪畫和混合：

• 帆布管理：建立一個專用的繪圖畫布，覆蓋了實時視頻供稿。該畫布允許用戶直接將數學問題直接繪製到屏幕上，從而提供無縫互動的體驗。

• 圖像混合：通過混合兩個圖像將繪製的內容與實時視頻提要集成在一起。此過程確保用戶的圖紙準確地顯示在實時飼料頂部，並保持清晰且具有凝聚力的視覺呈現。

生成AI集成：

• API設置和模型初始化：通過將其集成到有效的API密鑰來配置Google Generative AI庫。初始化Gemini 1.5 Flash模型，將其設置為處理並分析圖紙中的輸入數據。

• 解決方案生成：將處理的圖像以及輸入提示發送到AI模型。它為所描繪的數學問題生成詳細的解決方案，根據視覺輸入提供準確而全面的結果。

簡化應用程序：

• 交互式界面：使用Sleatlit開發，此應用程序提供了用戶友好且交互式界面。它無縫地集成了所有項目的功能，使用戶可以輕鬆地與AI計算器進行交互，並執行諸如繪圖，手勢控制和查看解決方案之類的任務。

• 實時互動：簡化應用程序提供了實時反饋和更新，以確保用戶可以立即查看其圖紙和結果。這個動態接口增強了整體用戶體驗，使使用AI驅動計算器的直觀和高效。

？項目演示視頻：https：//youtu.be/hxfbblopn6i

參考：

• 簡化：https：//docs.streamlit.io/
• OPENCV：https：//docs.opencv.org/4.x/d6/d00/tutorial_py_py_root.html
• 枕頭：https：//pillow.readthedocs.io/en/stable/
• MediaPipe：https：//ai.google.dev/edge/mediapipe/solutions/vision/vision/hand_landmarker
• Google Gemini AI：https：//ai.google.dev/

貢獻

歡迎對該項目的貢獻！如果您遇到任何問題或提出改進建議，請隨時提交拉動請求。

執照

該項目已根據MIT許可獲得許可。請查看許可證文件以獲取更多詳細信息。

接觸

？電子郵件：[email protected]

LinkedIn：LinkedIn.com/in/gopiashokan

對於任何其他問題或查詢，請隨時接觸。我們很樂意為您提供任何查詢。