Apple Inspired AI Calculator using Computer Vision and GenAI

コンピュータービジョンとGenaiを使用したApple風のAI計算機

導入

AppleにインスパイアされたAI計算機は、最先端のテクノロジーを使用して数学的な問題に取り組むように設計された高度なプロジェクトです。 GoogleのGemini AIを介してOpenCVと生成AIを介してコンピュータービジョンを活用することにより、この計算機を使用すると、ユーザーは画面に数学的な表現を直接描画できます。 AIモデルは、これらの視覚入力を解釈して正確で詳細なソリューションを提供し、複雑な計算を直感的でアクセスしやすくします。 Apple iPad Calculatorの機能に触発されたこのプロジェクトは、洗練されたAI機能を備えたユーザーエクスペリエンスを強化し、精度と使いやすさの両方を提供します。

目次

1. 主要なテクノロジーとスキル
2. インストール
3. 使用法
4. 特徴
5. 貢献
6. ライセンス
7. 接触

主要なテクノロジーとスキル

• Python
• コンピュータービジョン
• opencv
• 枕
• メディアピペ
• Google Generative AI
• numpy
• 流線

インストール

このプロジェクトを実行するには、次のパッケージをインストールする必要があります。

 pip install opencv - python
pip install pillow
pip install mediapipe
pip install google - generativeai
pip install numpy
pip install streamlit
pip install streamlit_extras

使用法

このプロジェクトを使用するには、次の手順に従ってください。

1. リポジトリのクローン： git clone https://github.com/gopiashokan/Apple-Inspired-AI-Calculator.git
2. 必要なパッケージのインストール： pip install -r requirements.txt
3. Google APIキーを.envファイルに追加します。
4. RETREARLIT APPを実行： streamlit run app.py
5. http://localhost:8501でブラウザのアプリにアクセスします

特徴

ライブウェブカメラフィード：

• ウェブカメラの初期化： OpenCVを使用してWebカメラに初期化してアクセスし、ライブビデオフィードを継続的にキャプチャできるようにします。このセットアップにより、ユーザーの入力とのリアルタイムのやり取りが保証されます。

• 画像フレームの処理：デフォルトのBGR形式で各画像フレームをキャプチャし、必須の前処理手順を適用します。これには、均一性のサイズ変更、正しい方向のための反転、RGB形式に変換してAIモデルの入力要件に合わせます。

Mediapipeを使用したジェスチャーコントロール：

• ハンドジェスチャーの検出： Mediapipeを使用して、ハンドジェスチャーをリアルタイムで識別および追跡します。このライブラリは、ハンドランドマークの正確な検出を可能にし、システムがさまざまな指の動きや位置を解釈できるようにします。

• ランドマークの視覚化と抽出：検出された手にランドマークを描き、各ランドマークの原点座標を抽出します。これらの座標は、ジェスチャーを正確に認識するために重要であり、アプリケーション内の異なる機能を制御します。

ジェスチャーベースのコントロール：

• ✍いくつかの問題を描く：親指と指数の指を持ち上げて数学的な問題を描きます。
• ？§移動：親指、インデックス、および中央の指を持ち上げて画面をナビゲートします。
• ？コンテンツの消去：親指と中央の指を持ち上げることにより、消去モードをアクティブにすることにより、誤って描画されたコンテンツを消去します。
• ？§キャンバスをリセットする：親指と小指の指を持ち上げて、描画キャンバス全体をクリアします。
• ？ AIモデルに送信：インデックスと中指を持ち上げることにより、分析のために図面を送信します。

描画とブレンド：

• Canvas Management：ライブビデオフィードに重なる専用の図面キャンバスを確立します。このキャンバスにより、ユーザーは数学的な問題を画面に直接描画し、シームレスでインタラクティブな体験を提供できます。

• 画像ブレンド：両方の画像をブレンドして、描画されたコンテンツをライブビデオフィードと統合します。このプロセスにより、ユーザーの図面がライブフィードの上に正確に表示され、明確でまとまりのある視覚的なプレゼンテーションが維持されます。

生成AI統合：

• APIのセットアップとモデルの初期化：有効なAPIキーと統合することにより、Google Generative AIライブラリを構成します。 Gemini 1.5 Flashモデルを初期化し、図面からの入力データを処理および分析するために設定します。

• ソリューション生成：入力プロンプトとともに、AIモデルに入力プロンプトを送信します。描かれた数学的問題の詳細なソリューションを生成し、視覚入力に基づいて正確で包括的な結果を提供します。

retrylidアプリケーション：

• インタラクティブなインターフェイス： Streemlitを使用して開発されたこのアプリケーションは、ユーザーフレンドリーでインタラクティブなインターフェイスを提供します。プロジェクトのすべての機能をシームレスに統合し、ユーザーがAI計算機と簡単に対話し、描画、ジェスチャーコントロール、表示ソリューションなどのタスクを実行できます。

• リアルタイムのインタラクション： Riremlitアプリケーションは、リアルタイムのフィードバックと更新を提供し、ユーザーが自分の図面と結果をすぐに確認できるようにします。この動的なインターフェイスは、全体的なユーザーエクスペリエンスを向上させ、AI搭載の計算機を使用するのに直感的で効率的になります。

？プロジェクトデモビデオ：https：//youtu.be/hxfbblopn6i

参考文献：

• streamlit：https：//docs.streamlit.io/
• opencv：https：//docs.opencv.org/4.x/d6/d00/tutorial_py_root.html
• 枕：https：//pillow.readthedocs.io/en/stable/
• Mediapipe：https：//ai.google.dev/edge/mediapipe/solutions/vision/hand_landmarker
• Google Gemini AI：https：//ai.google.dev/

貢献

このプロジェクトへの貢献は大歓迎です！問題が発生したり、改善の提案がある場合は、Pullリクエストをお気軽に送信してください。

ライセンス

このプロジェクトは、MITライセンスの下でライセンスされています。詳細については、ライセンスファイルを確認してください。

接触

？メール：[email protected]

LinkedIn：LinkedIn.com/in/Gopiashokan

さらに質問やお問い合わせについては、お気軽にご連絡ください。どんな質問でも喜んでお手伝いします。