Apple Inspired AI Calculator using Computer Vision and GenAI Apple Inspired AI Calculator using Computer Vision and GenAI

Apple Inspired AI Calculator using Computer Vision and GenAI

기타 소스코드

1.0.0

다운로드

컴퓨터 비전 및 Genai를 사용한 Apple에서 영감을 얻은 AI 계산기

소개

Apple에서 영감을 얻은 AI 계산기는 최첨단 기술을 사용하여 수학적 문제를 해결하도록 설계된 고급 프로젝트입니다. Google의 Gemini AI를 통해 OpenCV 및 Generative AI를 통해 컴퓨터 비전을 활용 하여이 계산기를 통해 사용자는 화면에 직접 수학적 표현을 그릴 수 있습니다. AI 모델은 이러한 시각적 입력을 해석하여 정확하고 상세한 솔루션을 제공하여 복잡한 계산을 직관적이고 액세스 할 수 있도록합니다. Apple iPad 계산기의 기능에서 영감을 얻은이 프로젝트는 정교한 AI 기능으로 사용자 경험을 향상시켜 정밀도와 사용 편의성을 제공합니다.

주요 기술과 기술
설치
용법
특징
기여
특허
연락하다

주요 기술과 기술

파이썬
컴퓨터 비전
Opencv
베개
미디어 파이프
Google 생성 AI
Numpy
간소

설치

이 프로젝트를 실행하려면 다음 패키지를 설치해야합니다.

 pip install opencv - python
pip install pillow
pip install mediapipe
pip install google - generativeai
pip install numpy
pip install streamlit
pip install streamlit_extras

용법

이 프로젝트를 사용하려면 다음 단계를 따르십시오.

저장소 복제 : git clone https://github.com/gopiashokan/Apple-Inspired-AI-Calculator.git
필요한 패키지를 설치하십시오 : pip install -r requirements.txt
.env 파일에 Google API 키를 추가하십시오.
Streamlit 앱 : streamlit run app.py 실행하십시오
브라우저에서 http://localhost:8501 에서 앱에 액세스하십시오

특징

라이브 웹캠 피드 :

웹캠 초기화 : OpenCV를 사용하여 웹캠을 초기화하고 액세스하여 라이브 비디오 피드를 지속적으로 캡처 할 수 있습니다. 이 설정은 사용자의 입력과 실시간 상호 작용을 보장합니다.
이미지 프레임 처리 : 각 이미지 프레임을 기본 BGR 형식으로 캡처하고 필수 전처리 단계를 적용합니다. 여기에는 균일 성 크기 조정, 올바른 방향을 뒤집고 RGB 형식으로 변환하여 AI 모델의 입력 요구 사항과 정렬됩니다.

미디어 파이프를 사용한 제스처 제어 :

손 제스처 탐지 : 미디어 파이프를 사용하여 실시간으로 손 제스처를 식별하고 추적합니다. 이 라이브러리를 사용하면 손 랜드 마크를 정확하게 감지 할 수있어 시스템이 다양한 손가락 움직임과 위치를 해석 할 수 있습니다.
랜드 마크 시각화 및 추출 : 감지 된 손에 랜드 마크를 그리고 각 랜드 마크의 원점 좌표를 추출합니다. 이러한 좌표는 제스처를 정확하게 인식하는 데 중요하며, 이는 응용 프로그램 내에서 다른 기능을 제어합니다.

제스처 기반 컨트롤 :

✍️ 수학 문제 그리기 : 엄지 손가락과 인덱스 손가락을 들어 올려 수학적 문제를 그립니다.
? ️ 이동 : 엄지 손가락, 인덱스 및 중간 손가락을 들어 올려 화면을 탐색합니다.
? 컨텐츠 지우기 : 엄지 손가락과 중간 손가락을 들어 올려 지우기 모드를 활성화하여 실수로 그려진 컨텐츠를 지우십시오.
? ️ 캔버스 재설정 : 엄지 손가락과 핑키 손가락을 들어 올려 전체 드로잉 캔버스를 비우십시오.
? AI 모델로 보내기 : 색인 및 중간 손가락을 들어 올려 분석을 위해 도면을 제출하십시오.

드로잉 및 블렌딩 :

캔버스 관리 : 라이브 비디오 피드가 오버레이되는 전용 드로잉 캔버스를 설정합니다. 이 캔버스를 통해 사용자는 수학적 문제를 화면에 직접 그릴 수있어 매끄럽고 대화식 경험을 제공합니다.
이미지 블렌딩 : 두 이미지를 모두 혼합하여 그린 컨텐츠를 라이브 비디오 피드와 통합합니다. 이 프로세스는 사용자의 도면이 라이브 피드 위에 정확하게 표시되어 명확하고 응집력있는 시각적 프레젠테이션을 유지하도록합니다.

생성 AI 통합 :

API 설정 및 모델 초기화 : 유효한 API 키와 통합하여 Google 생성 AI 라이브러리를 구성합니다. Gemini 1.5 Flash 모델을 초기화하여 도면에서 입력 데이터를 처리하고 분석하도록 설정합니다.
솔루션 생성 : 입력 프롬프트와 함께 처리 된 이미지를 AI 모델로 보냅니다. 묘사 된 수학적 문제에 대한 자세한 솔루션을 생성하여 시각적 입력을 기반으로 정확하고 포괄적 인 결과를 제공합니다.

간소화 응용 프로그램 :

인터랙티브 인터페이스 : Sleamlit을 사용하여 개발 된이 응용 프로그램은 사용자 친화적이고 대화식 인터페이스를 제공합니다. 그것은 모든 프로젝트의 모든 기능을 완벽하게 통합하여 사용자가 AI 계산기와 쉽게 상호 작용하고 드로잉, 제스처 제어 및보기 솔루션과 같은 작업을 수행 할 수 있도록합니다.
실시간 상호 작용 : Streamlit 응용 프로그램은 실시간 피드백 및 업데이트를 제공하여 사용자가 도면과 결과를 즉시 볼 수 있도록합니다. 이 동적 인터페이스는 전체 사용자 경험을 향상시켜 AI 구동 계산기를 사용하는 것이 직관적이고 효율적입니다.

? 프로젝트 데모 비디오 : https://youtu.be/hxfbblopn6i