image similarity

การจำแนกรูปภาพและการค้นหาความคล้ายคลึงกัน

ที่เก็บนี้มีท่อส่งข้อมูลแบบ end-to-end สำหรับการจำแนกภาพสัตว์เป็นหนึ่งใน 90 สปีชีส์และทำการค้นหาความคล้ายคลึงกันของภาพ โครงการใช้ประโยชน์จากเครือข่ายประสาทที่ลึกล้ำ (RESNET-50) เป็นตัวแยกฟีเจอร์รวมกับเลเยอร์ฝังที่กำหนดเองและหัวการจำแนกขั้นสุดท้าย นอกจากนี้ยังรวมถึงอินเทอร์เฟซส่วนหน้าสำหรับผู้ใช้ในการอัปโหลดรูปภาพและรับทั้งคลาสที่คาดการณ์ไว้และภาพที่คล้ายกันทางสายตาจากชุดข้อมูล

ภาพรวม

• สถาปัตยกรรมแบบจำลอง:

  • โมเดลพื้นฐาน: RESNET-50 (ได้รับการฝึกอบรมล่วงหน้าบน ImageNet) โดยลบเลเยอร์การจำแนกประเภทสุดท้ายออก
  • การฝังเลเยอร์: ชั้นหนาแน่นของเซลล์ประสาท 256 ตัวเพิ่มหลังจากตัวแยกฟีเจอร์ RESNET-50
  • หัวการจำแนกประเภท: ชั้นหนาแน่นสุดท้ายที่มี 90 เซลล์ประสาทแต่ละชั้นซึ่งสอดคล้องกับหนึ่งใน 90 คลาสสัตว์

• ชุดข้อมูล:
  ชุดข้อมูลภาพสัตว์ - 90 สัตว์ที่แตกต่างกัน
  ชุดข้อมูลนี้ครอบคลุมสายพันธุ์สัตว์ที่หลากหลายเพื่อให้มั่นใจว่ามีการเป็นตัวแทนในวงกว้างใน 90 คลาส

• รายละเอียดการฝึกอบรม:

  • อัตราการเรียนรู้: 0.01
  • ยุค: 10
  • ขนาดแบทช์: 16
  • การสูญเสียการฝึกอบรมขั้นสุดท้าย: 0.2204

• ตัวชี้วัดประสิทธิภาพ:

  • ความแม่นยำ: 0.9706
  • เรียกคืน: 0.9648
  • คะแนน F1: 0.9645

ตัวชี้วัดเหล่านี้บ่งบอกถึงประสิทธิภาพการจำแนกประเภทที่แข็งแกร่งในชุดข้อมูล

เมทริกซ์ความสับสน

เมทริกซ์ความสับสน ( confusion_matrix.png ) รวมอยู่ในการมองเห็นประสิทธิภาพของชั้นเรียนต่อชั้นเรียน

การค้นหาภาพที่คล้ายคลึงกัน

นอกเหนือจากการจำแนกประเภทโซลูชันนี้ยังมีคุณสมบัติการค้นหาความคล้ายคลึงกันของรูปภาพ:

1. การแยกคุณสมบัติ:
   ภาพชุดข้อมูลแต่ละภาพจะถูกส่งผ่านแบบจำลอง (RESNET-50 + Embedding Layer) เพื่อสร้างเวกเตอร์คุณสมบัติ 256 มิติ

2. การจัดเก็บฐานข้อมูล (SQLITE):
   เวกเตอร์คุณสมบัติ 256 มิติทั้งหมดจะถูกเก็บไว้ในฐานข้อมูล SQLite

3. แบบสอบถามที่คล้ายคลึงกัน:
   เมื่ออัพโหลดรูปภาพใหม่การฝังจะถูกคำนวณและฐานข้อมูลจะถูกสอบถามเพื่อค้นหาภาพที่คล้ายกันมากที่สุดตามความคล้ายคลึงกันของเวกเตอร์

สิ่งนี้ช่วยให้คุณไม่เพียง แต่ทำนายคลาสของภาพที่อัปโหลด แต่ยังดึงภาพที่คล้ายกันได้จากชุดข้อมูลที่มีอยู่

อินเทอร์เฟซส่วนหน้า

มีการรวมส่วนหน้าอย่างง่ายเพื่ออำนวยความสะดวกในการโต้ตอบ:

1. อัปโหลดภาพ: คุณให้ภาพสัตว์
2. รับคลาสที่คาดการณ์ไว้: ระบบส่งคืนคลาสที่คาดการณ์ไว้หากตรงกับหนึ่งใน 90 คลาสที่รู้จัก
3. ดูภาพที่คล้ายกัน: อินเทอร์เฟซจะแสดงภาพที่คล้ายกันด้านบนจากชุดข้อมูลช่วยให้คุณสามารถสำรวจตัวอย่างที่เกี่ยวข้องกับสายตา

โครงสร้างที่เก็บ

 .
├── requirements.txt          # Python dependencies
├── README.md                 # This README file
├── .gitignore                # Git ignore file 
├── LICENSE                   # License file for the project                 
├── main.py                   # Entry point for the Flask application
├── model.py                  # Model definition, loading, and inference utilities 
├── similarity.py             # Functions for similarity search and confusion matrix creation
└── train.py                  # Training script for the model
├── templates/
│   ├── index.html            # Frontend template
└── confusion_matrix.png      # Confusion matrix visualization 

เริ่มต้น

1. โคลนที่เก็บ:

   git clone https://github.com/git-khandelwal/image-similarity
   cd image-similarity

2. ติดตั้งการพึ่งพา:

   pip install -r requirements.txt

3. ดาวน์โหลดและเตรียมชุดข้อมูล:

   • ดาวน์โหลดจาก kaggle: https://www.kaggle.com/datasets/iamsouravbanerjee/animal-image-dataset-90-different-animals
   • แยกออกเป็นไดเรกทอรีพื้นฐาน

4. การฝึกอบรมแบบจำลอง: เพื่อฝึกอบรมแบบจำลองและสร้างคุณสมบัติเวกเตอร์ DB:

   python train.py

5. เรียกใช้แอปพลิเคชันขวด:

   python main.py

6. ใช้แอปพลิเคชัน:
   • เข้าถึงแอพได้ที่ http: // localhost: 5000
   • อัปโหลดภาพผ่านแบบฟอร์มที่ให้ไว้
   • ดูคลาสที่คาดการณ์และภาพที่คล้ายกัน

การปรับปรุงในอนาคต

• เทคนิคการทำดัชนี: พิจารณาใช้ฐานข้อมูลเวกเตอร์เช่น FAISS เพื่อการค้นหาที่คล้ายคลึงกันที่เร็วขึ้นและปรับขนาดได้มากขึ้น

การอ้างอิง

• K. He, X. Zhang, S. Ren และ J. Sun, "การเรียนรู้ที่เหลืออยู่ลึกสำหรับการจดจำภาพ" ใน การประชุม IEEE Conference เกี่ยวกับการมองเห็นคอมพิวเตอร์และการจดจำรูปแบบ (CVPR) , 2016. Paper Link

ใบอนุญาต

โครงการนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต MIT