image similarity

画像分類と類似性検索

このリポジトリには、動物画像を90種の1つに分類し、画像の類似性検索を実行するためのエンドツーエンドのパイプラインが含まれています。このプロジェクトは、カスタム埋め込み層と最終的な分類ヘッドと組み合わせて、深い畳み込みニューラルネットワーク（RESNET-50）を特徴抽出器として活用しています。さらに、ユーザーが画像をアップロードし、データセットから予測クラスと視覚的に類似した画像の両方を受信できるフロントエンドインターフェイスが含まれています。

概要

• モデルアーキテクチャ：

  • ベースモデル： ResNet-50（Imagenetでの事前訓練）、最終的な分類レイヤーを削除します。
  • 埋め込み層： ResNet-50特徴抽出器の後に追加された256ニューロンの密な層。
  • 分類ヘッド： 90個の動物クラスの1つに対応する90個のニューロンを備えた最終密度層。

• データセット：
  動物画像データセット-90種類の動物
  このデータセットは、さまざまな動物種をカバーし、90のクラスで広範な表現を保証します。

• トレーニングの詳細：

  • 学習率： 0.01
  • エポック： 10
  • バッチサイズ： 16
  • 最終トレーニング損失： 0.2204

• パフォーマンスメトリック：

  • 精度： 0.9706
  • リコール： 0.9648
  • F1スコア： 0.9645

これらのメトリックは、データセットの強力な分類パフォーマンスを示しています。

混乱マトリックス

クラスごとのパフォーマンスを視覚化するために、混乱マトリックス（ confusion_matrix.png ）が含まれています。

画像の類似性検索

分類に加えて、このソリューションは画像の類似性検索機能を提供します。

1. 機能抽出：
   各データセット画像は、モデル（ResNet-50 +埋め込み層）に渡され、256次元の特徴ベクトルを生成します。

2. データベースストレージ（SQLite）：
   すべての256次元機能ベクトルは、SQLiteデータベースに保存されます。

3. 類似性クエリ：
   新しい画像がアップロードされると、その埋め込みが計算され、データベースが照会され、ベクトルの類似性に基づいて最も類似した画像が見つかります。

これにより、アップロードされた画像のクラスを予測するだけでなく、既存のデータセットから視覚的に類似した画像を取得することができます。

フロントエンドインターフェイス

相互作用を促進するために、単純なフロントエンドが含まれています。

1. 画像のアップロード：動物の画像を提供します。
2. 取得予測クラス：システムは、90の既知のクラスのいずれかと一致する場合、予測クラスを返します。
3. 同様の画像を表示します。インターフェイスは、データセットから上位の類似の画像を表示し、視覚的に関連するサンプルを探索できます。

リポジトリ構造

 .
├── requirements.txt          # Python dependencies
├── README.md                 # This README file
├── .gitignore                # Git ignore file 
├── LICENSE                   # License file for the project                 
├── main.py                   # Entry point for the Flask application
├── model.py                  # Model definition, loading, and inference utilities 
├── similarity.py             # Functions for similarity search and confusion matrix creation
└── train.py                  # Training script for the model
├── templates/
│   ├── index.html            # Frontend template
└── confusion_matrix.png      # Confusion matrix visualization 

はじめる

1. リポジトリをクローンします：

   git clone https://github.com/git-khandelwal/image-similarity
   cd image-similarity

2. 依存関係をインストールします：

   pip install -r requirements.txt

3. データセットをダウンロードして準備します：

   • Kaggleからダウンロード：https：//www.kaggle.com/datasets/iamsouravbanerjee/animal-image-dataset-90-different-animals
   • ベースディレクトリに抽出します。

4. モデルトレーニング：モデルを再訓練し、機能ベクターDBを作成するには：

   python train.py

5. Flaskアプリケーションを実行します：

   python main.py

6. アプリケーションを使用します：
   • http：// localhost：5000でアプリにアクセスします
   • 提供されたフォームに画像をアップロードします。
   • 予測されたクラスと同様の画像を表示します。

将来の改善

• インデックス作成手法：FAISSなどのベクトルデータベースを使用して、より速く、よりスケーラブルな類似性検索を検討してください。

参照

• K. He、X。Zhang、S。Ren、およびJ. Sun、「画像認識のための深い残留学習」、 IEEE Con​​ference on Computer Vision and Pattern認識（CVPR）、2016年のPaper Linkの議事録

ライセンス

このプロジェクトは、MITライセンスの下でライセンスされています。