image similarity

Bildklassifizierung und Ähnlichkeitssuche

Dieses Repository enthält eine End-to-End-Pipeline, um Tierbilder in eine von 90 Arten zu klassifizieren und Bildähnlichkeitssuche durchzuführen. Das Projekt nutzt ein tiefes Faltungsnetz (Resnet-50) als Feature-Extraktor, kombiniert mit einer benutzerdefinierten Einbettungsschicht und einem endgültigen Klassifizierungskopf. Darüber hinaus enthält es eine Frontend -Schnittstelle, mit der Benutzer ein Bild hochladen und sowohl eine vorhergesagte Klasse als auch visuell ähnliche Bilder aus dem Datensatz empfangen können.

Überblick

• Modellarchitektur:

  • Basismodell: RESNET-50 (auf ImageNet vorzubereitet), wobei die endgültige Klassifizierungsschicht entfernt wurde.
  • Einbettungsschicht: Eine dichte Schicht von 256 Neuronen, die nach dem RESNET-50-Feature-Extraktor hinzugefügt wurden.
  • Klassifizierungskopf: Eine endgültige dichte Schicht mit 90 Neuronen, die jeweils einer der 90 Tierklassen entsprechen.

• Datensatz:
  Tierbilddatensatz - 90 verschiedene Tiere
  Dieser Datensatz deckt eine Vielzahl von Tierarten ab und gewährleistet eine breite Darstellung in 90 Klassen.

• Trainingsdetails:

  • Lernrate: 0,01
  • Epochen: 10
  • Chargengröße: 16
  • Abschließender Trainingsverlust: 0,2204

• Leistungsmetriken:

  • Präzision: 0,9706
  • Rückruf: 0,9648
  • F1-Score: 0,9645

Diese Metriken zeigen eine starke Klassifizierungsleistung im Datensatz.

Verwirrungsmatrix

Eine Verwirrungsmatrix ( confusion_matrix.png ) ist zur Visualisierung der Klasse für Klasse zu der Klasse enthalten.

Bildähnlichkeitssuche

Neben der Klassifizierung bietet diese Lösung eine Suchfunktion der Bildähnlichkeit:

1. Feature -Extraktion:
   Jedes Datensatzbild wird durch das Modell (ResNet-50 + Einbettungsschicht) übergeben, um einen 256-dimensionalen Merkmalsvektor zu erzeugen.

2. Datenbankspeicher (SQLite):
   Alle 256-dimensionalen Feature-Vektoren werden in einer SQLite-Datenbank gespeichert.

3. Ähnlichkeitsanfrage:
   Wenn ein neues Bild hochgeladen wird, wird seine Einbettung berechnet und die Datenbank wird abfragt, um die ähnlichsten Bilder basierend auf der Vektorähnlichkeit zu finden.

Auf diese Weise können Sie nicht nur die Klasse eines hochgeladenen Bildes vorhersagen, sondern auch visuell ähnliche Bilder aus dem vorhandenen Datensatz abrufen.

Frontend -Schnittstelle

Eine einfache Frontend ist enthalten, um die Interaktion zu erleichtern:

1. Laden Sie ein Bild hoch: Sie stellen ein Bild eines Tieres an.
2. Get Progniced Class: Das System gibt die vorhergesagte Klasse zurück, wenn es einer der 90 bekannten Klassen übereinstimmt.
3. Ähnliche Bilder anzeigen: Die Schnittstelle zeigt die obersten ähnlichen Bilder aus dem Datensatz an, sodass Sie visuell verwandte Beispiele untersuchen können.

Repository -Struktur

 .
├── requirements.txt          # Python dependencies
├── README.md                 # This README file
├── .gitignore                # Git ignore file 
├── LICENSE                   # License file for the project                 
├── main.py                   # Entry point for the Flask application
├── model.py                  # Model definition, loading, and inference utilities 
├── similarity.py             # Functions for similarity search and confusion matrix creation
└── train.py                  # Training script for the model
├── templates/
│   ├── index.html            # Frontend template
└── confusion_matrix.png      # Confusion matrix visualization 

Erste Schritte

1. Klonen Sie das Repository:

   git clone https://github.com/git-khandelwal/image-similarity
   cd image-similarity

2. Abhängigkeiten installieren:

   pip install -r requirements.txt

3. Datensatz herunterladen und vorbereiten:

   • Download von Kaggle: https://www.kaggle.com/datasets/iamsouravbanerjee/animal-image-dataset-90-different-animals
   • In das Basisverzeichnis extrahieren.

4. Modelltraining: Um das Modell abzunehmen und Feature -Vektor DB zu erstellen:

   python train.py

5. Führen Sie die Flask -Anwendung aus:

   python main.py

6. Verwenden Sie die Anwendung:
   • Greifen Sie auf die App unter http: // localhost: 5000 zu
   • Laden Sie ein Bild durch das bereitgestellte Formular hoch.
   • Sehen Sie sich die vorhergesagte Klasse und ähnliche Bilder an.

Zukünftige Verbesserungen

• Indexierungstechniken: Erwägen Sie die Verwendung von Vektordatenbanken wie Faiss für schnellere und skalierbare Ähnlichkeitssuche.

Referenzen

• K. He, X. Zhang, S. Ren und J. Sun, "Deep Residual Learning for Imageerkennung", in Proceedings of the IEEE -Konferenz über Computer Vision und Mustererkennung (CVPR) , 2016. Paper Link

Lizenz

Dieses Projekt ist unter der MIT -Lizenz lizenziert.