image similarity

이미지 분류 및 유사성 검색

이 저장소에는 동물 이미지를 90 종 중 하나로 분류하고 이미지 유사성 검색을 수행하기위한 엔드 투 엔드 파이프 라인이 포함되어 있습니다. 이 프로젝트는 사용자 정의 임베딩 레이어 및 최종 분류 헤드와 결합 된 기능 추출기로 깊은 컨볼 루션 신경망 (RESNET-50)을 활용합니다. 또한 사용자가 이미지를 업로드하고 데이터 세트에서 예측 된 클래스와 시각적으로 유사한 이미지를 모두받을 수있는 프론트 엔드 인터페이스가 포함되어 있습니다.

개요

• 모델 아키텍처 :

  • 기본 모델 : resnet-50 (Imagenet에서 미리 훈련), 최종 분류 계층이 제거되었습니다.
  • 임베딩 층 : RESNET-50 기능 추출기 후 첨가 된 256 개의 뉴런의 조밀 한 층.
  • 분류 헤드 : 90 개의 뉴런이있는 최종 조밀 한 층, 각각 90 개의 동물 클래스 중 하나에 해당합니다.

• 데이터 세트 :
  동물 이미지 데이터 세트 - 90 개의 다른 동물
  이 데이터 세트는 다양한 동물 종을 포함하여 90 개의 클래스에 걸쳐 광범위한 표현을 보장합니다.

• 교육 세부 사항 :

  • 학습 속도 : 0.01
  • 에포크 : 10
  • 배치 크기 : 16
  • 최종 훈련 손실 : 0.2204

• 성능 지표 :

  • 정밀도 : 0.9706
  • 리콜 : 0.9648
  • F1- 점수 : 0.9645

이 메트릭은 데이터 세트에서 강력한 분류 성능을 나타냅니다.

혼란 매트릭스

클래스 별 성능을 시각화하기 위해 Confusion Matrix ( confusion_matrix.png )가 포함되어 있습니다.

이미지 유사성 검색

분류 외에도이 솔루션은 이미지 유사성 검색 기능을 제공합니다.

1. 기능 추출 :
   각 데이터 세트 이미지는 모델 (RESNET-50 + 임베딩 층)을 통해 전달되어 256 차원 피처 벡터를 생성합니다.

2. 데이터베이스 스토리지 (SQLITE) :
   모든 256 차원 기능 벡터는 SQLite 데이터베이스에 저장됩니다.

3. 유사성 쿼리 :
   새 이미지가 업로드되면 삽입이 계산되고 데이터베이스는 벡터 유사성을 기반으로 가장 유사한 이미지를 찾도록 쿼리됩니다.

이를 통해 업로드 된 이미지의 클래스를 예측할뿐만 아니라 기존 데이터 세트에서 시각적으로 유사한 이미지를 검색 할 수 있습니다.

프론트 엔드 인터페이스

상호 작용을 용이하게하기 위해 간단한 프론트 엔드가 포함되어 있습니다.

1. 이미지 업로드 : 동물의 이미지를 제공합니다.
2. 예측 클래스 받기 : 시스템은 90 개의 알려진 클래스 중 하나와 일치하는 경우 예측 클래스를 반환합니다.
3. 비슷한 이미지보기 : 인터페이스는 데이터 세트의 상단 유사한 이미지를 표시하여 시각적으로 관련된 샘플을 탐색 할 수 있습니다.

저장소 구조

 .
├── requirements.txt          # Python dependencies
├── README.md                 # This README file
├── .gitignore                # Git ignore file 
├── LICENSE                   # License file for the project                 
├── main.py                   # Entry point for the Flask application
├── model.py                  # Model definition, loading, and inference utilities 
├── similarity.py             # Functions for similarity search and confusion matrix creation
└── train.py                  # Training script for the model
├── templates/
│   ├── index.html            # Frontend template
└── confusion_matrix.png      # Confusion matrix visualization 

시작하기

1. 저장소 복제 :

   git clone https://github.com/git-khandelwal/image-similarity
   cd image-similarity

2. 종속성 설치 :

   pip install -r requirements.txt

3. 데이터 세트 다운로드 및 준비 :

   • Kaggle에서 다운로드 : https://www.kaggle.com/datasets/iamsouravbanerjee/animal-image-dataset-90-different-animals
   • 기본 디렉토리로 추출하십시오.

4. 모델 교육 : 모델을 재교육하고 기능 벡터 DB를 작성하려면 :

   python train.py

5. 플라스크 응용 프로그램 실행 :

   python main.py

6. 응용 프로그램 사용 :
   • http : // localhost : 5000에서 앱에 액세스하십시오
   • 제공된 양식을 통해 이미지를 업로드하십시오.
   • 예측 된 클래스 및 유사한 이미지를보십시오.

향후 개선

• 인덱싱 기술 : FAISS와 같은 벡터 데이터베이스를 사용하여 더 빠르고 확장 가능한 유사성 검색을 고려하십시오.

참조

• K. He, X. Zhang, S. Ren 및 J. Sun, "이미지 인식을위한 깊은 잔여 학습", 컴퓨터 비전 및 패턴 인식에 관한 IEEE 컨퍼런스 (CVPR) , 2016. Paper Link.

특허

이 프로젝트는 MIT 라이센스에 따라 라이센스가 부여됩니다.