image similarity

Clasificación de imagen y búsqueda de similitud

Este repositorio contiene una tubería de extremo a extremo para clasificar las imágenes animales en una de las 90 especies y realizar búsquedas de similitud de imagen. El proyecto aprovecha una red neuronal convolucional profunda (ResNet-50) como un extractor de características, combinado con una capa de incrustación personalizada y un cabezal de clasificación final. Además, incluye una interfaz frontend para que los usuarios carguen una imagen y reciban una clase predicha y imágenes visualmente similares del conjunto de datos.

Descripción general

• Arquitectura de modelo:

  • Modelo base: Resnet-50 (pretratado en Imagenet), con la capa de clasificación final eliminada.
  • Capa de incrustación: una capa densa de 256 neuronas agregadas después del extractor de características RESNET-50.
  • Cabeza de clasificación: una capa densa final con 90 neuronas, cada una correspondiente a una de las 90 clases de animales.

• Conjunto de datos:
  Conjunto de datos de imágenes de animales - 90 animales diferentes
  Este conjunto de datos cubre una amplia variedad de especies animales, asegurando una amplia representación en 90 clases.

• Detalles de capacitación:

  • Tasa de aprendizaje: 0.01
  • Épocas: 10
  • Tamaño del lote: 16
  • Pérdida final de entrenamiento: 0.2204

• Métricas de rendimiento:

  • Precisión: 0.9706
  • Recuerdo: 0.9648
  • Puntaje F1: 0.9645

Estas métricas indican un fuerte rendimiento de clasificación en el conjunto de datos.

Matriz de confusión

Se incluye una matriz de confusión ( confusion_matrix.png ) para visualizar el rendimiento de clase por clase.

Búsqueda de similitud de imagen

Además de la clasificación, esta solución proporciona una función de búsqueda de similitud de imagen:

1. Extracción de características:
   Cada imagen del conjunto de datos se pasa a través del modelo (capa de incrustación ResNet-50 +) para producir un vector de características de 256 dimensiones.

2. Almacenamiento de la base de datos (SQLite):
   Todos los vectores de características de 256 dimensiones se almacenan en una base de datos SQLite.

3. Consulta de similitud:
   Cuando se carga una nueva imagen, se calcula su incrustación y se consulta la base de datos para encontrar las imágenes más similares basadas en la similitud vectorial.

Esto le permite no solo predecir la clase de una imagen cargada, sino también recuperar imágenes visualmente similares del conjunto de datos existente.

Interfaz frontend

Se incluye una frontend simple para facilitar la interacción:

1. Sube una imagen: proporciona una imagen de un animal.
2. Get Clase predicha: el sistema devuelve la clase predicha si coincide con una de las 90 clases conocidas.
3. Ver imágenes similares: la interfaz muestra las imágenes similares del conjunto de datos, lo que le permite explorar muestras relacionadas con visual.

Estructura de repositorio

 .
├── requirements.txt          # Python dependencies
├── README.md                 # This README file
├── .gitignore                # Git ignore file 
├── LICENSE                   # License file for the project                 
├── main.py                   # Entry point for the Flask application
├── model.py                  # Model definition, loading, and inference utilities 
├── similarity.py             # Functions for similarity search and confusion matrix creation
└── train.py                  # Training script for the model
├── templates/
│   ├── index.html            # Frontend template
└── confusion_matrix.png      # Confusion matrix visualization 

Empezando

1. Clon el repositorio:

   git clone https://github.com/git-khandelwal/image-similarity
   cd image-similarity

2. Instalar dependencias:

   pip install -r requirements.txt

3. Descargar y preparar el conjunto de datos:

   • Descargar desde Kaggle: https://www.kaggle.com/datasets/iamsouravbanerjee/animal-image-dataset-90-diFferent-animals
   • Extracto en el directorio base.

4. Entrenamiento del modelo: para volver a entrenar el modelo y crear características vector DB:

   python train.py

5. Ejecute la aplicación Flask:

   python main.py

6. Use la aplicación:
   • Acceda a la aplicación en http: // localhost: 5000
   • Sube una imagen a través del formulario proporcionado.
   • Ver la clase predicha y imágenes similares.

Mejoras futuras

• Técnicas de indexación: considere usar bases de datos vectoriales como FAISS para búsquedas de similitud más rápidas y escalables.

Referencias

• K. He, X. Zhang, S. Ren y J. Sun, "Deep residual Learning para el reconocimiento de imágenes", en Actas de la Conferencia IEEE sobre Visión de Computadora y Reconocimiento de Patrones (CVPR) , 2016. Enlace en papel

Licencia

Este proyecto tiene licencia bajo la licencia MIT.