image similarity

Klasifikasi Gambar dan Pencarian Kesamaan

Repositori ini berisi pipa ujung ke ujung untuk mengklasifikasikan gambar hewan menjadi salah satu dari 90 spesies dan melakukan pencarian kesamaan gambar. Proyek ini memanfaatkan jaringan saraf konvolusional yang mendalam (ResNet-50) sebagai ekstraktor fitur, dikombinasikan dengan lapisan penyematan khusus dan kepala klasifikasi akhir. Selain itu, ini termasuk antarmuka frontend bagi pengguna untuk mengunggah gambar dan menerima kedua kelas yang diprediksi dan gambar yang sama secara visual dari dataset.

Ringkasan

• Arsitektur Model:

  • Model dasar: ResNet-50 (pra-terlatih di Imagenet), dengan lapisan klasifikasi akhir dihapus.
  • Lapisan Embedding: Lapisan padat 256 neuron ditambahkan setelah fitur Extractor ResNet-50.
  • Kepala Klasifikasi: Lapisan padat akhir dengan 90 neuron, masing -masing sesuai dengan salah satu dari 90 kelas hewan.

• Dataset:
  Dataset Gambar Hewan - 90 hewan yang berbeda
  Dataset ini mencakup berbagai macam spesies hewan, memastikan representasi luas di 90 kelas.

• Detail Pelatihan:

  • Tingkat Pembelajaran: 0,01
  • Zaman: 10
  • Ukuran Batch: 16
  • Kehilangan pelatihan akhir: 0,2204

• Metrik Kinerja:

  • Presisi: 0,9706
  • Ingat: 0.9648
  • F1-Score: 0,9645

Metrik ini menunjukkan kinerja klasifikasi yang kuat pada dataset.

Matriks kebingungan

Matriks kebingungan ( confusion_matrix.png ) dimasukkan untuk memvisualisasikan kinerja kelas demi kelas.

Pencarian kesamaan gambar

Selain klasifikasi, solusi ini menyediakan fitur pencarian kesamaan gambar:

1. Ekstraksi fitur:
   Setiap gambar dataset dilewatkan melalui model (resnet-50 + lapisan embedding) untuk menghasilkan vektor fitur 256 dimensi.

2. Penyimpanan Database (SQLite):
   Semua vektor fitur 256 dimensi disimpan dalam database SQLite.

3. Kueri Kesamaan:
   Ketika gambar baru diunggah, embeddingnya dihitung, dan database ditanya untuk menemukan gambar yang paling mirip berdasarkan kesamaan vektor.

Ini memungkinkan Anda untuk tidak hanya memprediksi kelas gambar yang diunggah tetapi juga mengambil gambar yang sama secara visual dari dataset yang ada.

Antarmuka frontend

Frontend sederhana disertakan untuk memfasilitasi interaksi:

1. Unggah gambar: Anda memberikan gambar hewan.
2. Dapatkan Kelas Prediksi: Sistem mengembalikan kelas yang diprediksi jika cocok dengan salah satu dari 90 kelas yang diketahui.
3. Lihat gambar serupa: Antarmuka menampilkan gambar serupa atas dari dataset, memungkinkan Anda untuk menjelajahi sampel yang terkait secara visual.

Struktur repositori

 .
├── requirements.txt          # Python dependencies
├── README.md                 # This README file
├── .gitignore                # Git ignore file 
├── LICENSE                   # License file for the project                 
├── main.py                   # Entry point for the Flask application
├── model.py                  # Model definition, loading, and inference utilities 
├── similarity.py             # Functions for similarity search and confusion matrix creation
└── train.py                  # Training script for the model
├── templates/
│   ├── index.html            # Frontend template
└── confusion_matrix.png      # Confusion matrix visualization 

Memulai

1. Klon Repositori:

   git clone https://github.com/git-khandelwal/image-similarity
   cd image-similarity

2. Instal dependensi:

   pip install -r requirements.txt

3. Unduh dan Siapkan Dataset:

   • Unduh dari Kaggle: https://www.kaggle.com/datasets/iamsouravbanerjee/animal-image-dataset-90-diferent-animals
   • Ekstrak ke dalam direktori dasar.

4. Pelatihan Model: Untuk melatih kembali model dan membuat fitur vektor db:

   python train.py

5. Jalankan aplikasi Flask:

   python main.py

6. Gunakan aplikasi:
   • Akses aplikasi di http: // localhost: 5000
   • Unggah gambar melalui formulir yang disediakan.
   • Lihat kelas yang diprediksi dan gambar serupa.

Perbaikan di masa depan

• Teknik Pengindeksan: Pertimbangkan untuk menggunakan database vektor seperti FAISS untuk pencarian kesamaan yang lebih cepat dan lebih diskalakan.

Referensi

• K. He, X. Zhang, S. Ren, dan J. Sun, "Pembelajaran Sisa yang Dalam untuk Pengenalan Gambar," dalam Prosiding Konferensi IEEE tentang Visi Komputer dan Pengenalan Pola (CVPR) , 2016. Tautan kertas

Lisensi

Proyek ini dilisensikan di bawah lisensi MIT.