image similarity

Classification d'image et recherche de similitude

Ce référentiel contient un pipeline de bout en bout pour classer les images animales en l'une des 90 espèces et effectuer des recherches de similitude d'image. Le projet exploite un réseau neuronal convolutionnel profond (RESNET-50) comme un extracteur de fonctionnalités, combiné à une couche d'intégration personnalisée et à une tête de classification finale. De plus, il comprend une interface frontale pour les utilisateurs pour télécharger une image et recevoir à la fois une classe prévue et des images visuellement similaires de l'ensemble de données.

Aperçu

• Architecture du modèle:

  • Modèle de base: RESNET-50 (pré-formé sur ImageNet), la couche de classification finale supprimée.
  • Couche d'incorporation: une couche dense de 256 neurones ajoutées après l'extracteur de caractéristiques RESNET-50.
  • Tête de classification: une couche dense finale avec 90 neurones, chacune correspondant à l'une des 90 classes animales.

• Ensemble de données:
  Ensemble de données d'image animale - 90 animaux différents
  Cet ensemble de données couvre une grande variété d'espèces animales, garantissant une large représentation dans 90 classes.

• Détails de la formation:

  • Taux d'apprentissage: 0,01
  • Epochs: 10
  • Taille du lot: 16
  • Perte de formation finale: 0,2204

• Métriques de performance:

  • Précision: 0,9706
  • Rappel: 0,9648
  • F1-score: 0,9645

Ces mesures indiquent de fortes performances de classification sur l'ensemble de données.

Matrice de confusion

Une matrice de confusion ( confusion_matrix.png ) est incluse pour visualiser les performances de classe par classe.

Recherche de similitude d'image

En plus de la classification, cette solution fournit une fonction de recherche de similitude d'image:

1. Extraction de caractéristiques:
   Chaque image d'ensemble de données est passé par le modèle (couche d'intégration RESNET-50 +) pour produire un vecteur de fonctionnalité 256 dimension.

2. Stockage de la base de données (SQLite):
   Tous les vecteurs de fonctionnalités 256 dimensions sont stockés dans une base de données SQLite.

3. Requête de similitude:
   Lorsqu'une nouvelle image est téléchargée, son intégration est calculée et la base de données est interrogée pour trouver les images les plus similaires basées sur la similitude vectorielle.

Cela vous permet non seulement de prédire la classe d'une image téléchargée, mais aussi de récupérer des images visuellement similaires à partir de l'ensemble de données existant.

Interface frontale

Un frontend simple est inclus pour faciliter l'interaction:

1. Téléchargez une image: vous fournissez une image d'un animal.
2. Obtenez la classe prévue: le système renvoie la classe prévue si elle correspond à l'une des 90 classes connues.
3. Voir les images similaires: l'interface affiche les meilleures images similaires à partir de l'ensemble de données, vous permettant d'explorer des échantillons visuellement liés.

Structure de référentiel

 .
├── requirements.txt          # Python dependencies
├── README.md                 # This README file
├── .gitignore                # Git ignore file 
├── LICENSE                   # License file for the project                 
├── main.py                   # Entry point for the Flask application
├── model.py                  # Model definition, loading, and inference utilities 
├── similarity.py             # Functions for similarity search and confusion matrix creation
└── train.py                  # Training script for the model
├── templates/
│   ├── index.html            # Frontend template
└── confusion_matrix.png      # Confusion matrix visualization 

Commencer

1. Clone le référentiel:

   git clone https://github.com/git-khandelwal/image-similarity
   cd image-similarity

2. Installez les dépendances:

   pip install -r requirements.txt

3. Télécharger et préparer un ensemble de données:

   • Télécharger depuis Kaggle: https://www.kaggle.com/datasets/iamsouravbanerjee/animal-image-dataset-90-different-animals
   • Extraire dans le répertoire de base.

4. Formation du modèle: pour recycler le modèle et créer un vecteur de fonction DB:

   python train.py

5. Exécutez l'application Flask:

   python main.py

6. Utilisez l'application:
   • Accéder à l'application à http: // localhost: 5000
   • Téléchargez une image via le formulaire fourni.
   • Voir la classe prévue et les images similaires.

Améliorations futures

• Techniques d'indexation: envisagez d'utiliser des bases de données vectorielles comme FAISS pour des recherches de similitude plus rapides et plus évolutives.

Références

• K. HE, X. Zhang, S. Ren et J. Sun, «Deep Residual Learning for Image Recognition», dans Actes de la Conférence de l'IEEE sur la vision par ordinateur et la reconnaissance des modèles (CVPR) , 2016. Lien papier

Licence

Ce projet est autorisé sous la licence du MIT.