Apple Inspired AI Calculator using Computer Vision and GenAI

Kalkulator AI yang terinspirasi Apple menggunakan visi komputer dan Genai

Perkenalan

Kalkulator AI yang terinspirasi Apple adalah proyek canggih yang dirancang untuk mengatasi masalah matematika menggunakan teknologi mutakhir. Dengan memanfaatkan visi komputer melalui OpenCV dan AI generatif melalui Google Gemini AI, kalkulator ini memungkinkan pengguna untuk menggambar ekspresi matematika secara langsung di layar. Model AI menginterpretasikan input visual ini untuk memberikan solusi yang akurat dan terperinci, membuat perhitungan kompleks intuitif dan dapat diakses. Terinspirasi oleh fungsionalitas kalkulator iPad Apple, proyek ini meningkatkan pengalaman pengguna dengan kemampuan AI yang canggih, memberikan presisi dan kemudahan penggunaan.

Daftar isi

1. Teknologi dan keterampilan utama
2. Instalasi
3. Penggunaan
4. Fitur
5. Berkontribusi
6. Lisensi
7. Kontak

Teknologi dan keterampilan utama

• Python
• Visi komputer
• Opencv
• Bantal
• Mediapipipe
• Google Generatif AI
• Numpy
• Streamlit

Instalasi

Untuk menjalankan proyek ini, Anda perlu menginstal paket berikut:

 pip install opencv - python
pip install pillow
pip install mediapipe
pip install google - generativeai
pip install numpy
pip install streamlit
pip install streamlit_extras

Penggunaan

Untuk menggunakan proyek ini, ikuti langkah -langkah ini:

1. Klon The Repository: git clone https://github.com/gopiashokan/Apple-Inspired-AI-Calculator.git
2. Instal Paket yang Diperlukan: pip install -r requirements.txt
3. Tambahkan tombol Google API Anda ke file .env .
4. Jalankan aplikasi streamLit: streamlit run app.py
5. Akses aplikasi di browser Anda di http://localhost:8501

Fitur

Umpan webcam langsung:

• Inisialisasi webcam: Memanfaatkan OpenCV untuk menginisialisasi dan mengakses webcam, memungkinkan penangkapan terus menerus dari umpan video langsung. Pengaturan ini memastikan interaksi real-time dengan input pengguna.

• Pemrosesan Bingkai Gambar: Menangkap setiap bingkai gambar dalam format BGR default dan menerapkan langkah -langkah preprocessing yang penting. Ini termasuk mengubah ukuran untuk keseragaman, membalik untuk orientasi yang benar, dan mengonversi ke format RGB untuk selaras dengan persyaratan input model AI.

Kontrol Gesture dengan MediAPipe:

• Deteksi Gerakan Tangan: Memanfaatkan MediaPipe untuk mengidentifikasi dan melacak gerakan tangan secara real-time. Perpustakaan ini memungkinkan deteksi landmark tangan yang tepat, memungkinkan sistem untuk menafsirkan berbagai gerakan dan posisi jari.

• Visualisasi dan ekstraksi tengara: Menggambar landmark di tangan yang terdeteksi dan mengekstrak koordinat asal dari masing -masing landmark. Koordinat ini sangat penting untuk secara akurat mengenali gerakan, yang pada gilirannya mengontrol berbagai fungsi dalam aplikasi.

Kontrol berbasis gesture:

• ✍️ Gambarlah masalah matematika: Gambarlah masalah matematika dengan mengangkat ibu jari dan jari indeks.
• ? ️ Bergeraklah: Navigasi layar dengan mengangkat ibu jari, indeks, dan jari tengah.
• ? Hapus Konten: Menghapus setiap konten yang ditarik secara keliru dengan mengaktifkan mode penghapusan dengan mengangkat jari -jari ibu jari dan tengah.
• ? ️ Reset kanvas: Bersihkan seluruh kanvas gambar dengan mengangkat jari ibu dan pinky.
• ? Kirim ke AI Model: Kirim gambar untuk analisis dengan mengangkat indeks dan jari tengah.

Menggambar dan Blending:

• Manajemen Kanvas: Menetapkan kanvas gambar khusus yang menutupi umpan video langsung. Kanvas ini memungkinkan pengguna untuk menggambar masalah matematika langsung ke layar, memberikan pengalaman yang mulus dan interaktif.

• Image Blending: Mengintegrasikan konten yang ditarik dengan umpan video langsung dengan memadukan kedua gambar. Proses ini memastikan bahwa gambar pengguna ditampilkan secara akurat di atas umpan langsung, mempertahankan presentasi visual yang jelas dan kohesif.

Integrasi AI Generatif:

• Pengaturan API dan Inisialisasi Model: Mengkonfigurasi Perpustakaan AI Google Generative dengan mengintegrasikannya dengan kunci API yang valid. Menginisialisasi model Gemini 1.5 Flash , mengaturnya untuk memproses dan menganalisis data input dari gambar.

• Pembuatan Solusi: Mengirim gambar yang diproses bersama dengan prompt input ke model AI. Ini menghasilkan solusi terperinci untuk masalah matematika yang digambarkan, memberikan hasil yang akurat dan komprehensif berdasarkan input visual.

Aplikasi StreamLit:

• Antarmuka Interaktif: Dikembangkan menggunakan StreamLit, aplikasi ini menawarkan antarmuka yang ramah pengguna dan interaktif. Ini dengan mulus mengintegrasikan semua fitur proyek, memungkinkan pengguna untuk dengan mudah berinteraksi dengan kalkulator AI dan melakukan tugas seperti menggambar, kontrol gerakan, dan solusi melihat.

• Interaksi real-time: Aplikasi StreamLit memberikan umpan balik dan pembaruan waktu nyata, memastikan bahwa pengguna dapat melihat gambar dan hasilnya segera. Antarmuka dinamis ini meningkatkan pengalaman pengguna secara keseluruhan, membuatnya intuitif dan efisien untuk menggunakan kalkulator bertenaga AI.

? Video demo proyek: https://youtu.be/hxfbblopn6i

Referensi:

• Streamlit: https://docs.streamlit.io/
• OpenCV: https://docs.opencv.org/4.x/d6/d00/tutorial_py_root.html
• Bantal: https://pillow.readthedocs.io/en/stable/
• MediaPipe: https://ai.google.dev/edge/mediapipe/solutions/vision/hand_landmarker
• Google Gemini AI: https://ai.google.dev/

Berkontribusi

Kontribusi untuk proyek ini dipersilakan! Jika Anda menghadapi masalah atau memiliki saran untuk perbaikan, jangan ragu untuk mengirimkan permintaan tarik.

Lisensi

Proyek ini dilisensikan di bawah lisensi MIT. Harap tinjau file lisensi untuk lebih jelasnya.

Kontak

? Email: [email protected]

LinkedIn: linkedin.com/in/gopiashokan

Untuk pertanyaan atau pertanyaan lebih lanjut, jangan ragu untuk menjangkau. Kami dengan senang hati membantu Anda dengan pertanyaan apa pun.