Medsearch: การค้นหาความคล้ายคลึงกันของภาพ X-ray ที่ขับเคลื่อนด้วยเวกเตอร์
ภาพรวม
Medsearch สำรวจแอปพลิเคชันของเทคนิคการค้นหาความคล้ายคลึงกันของเวกเตอร์เพื่อดึงภาพทางการแพทย์ การมุ่งเน้นหลักคือการพัฒนาระบบพิสูจน์แนวคิดที่ช่วยให้ผู้ใช้สามารถค้นหาภาพ X-ray ที่คล้ายกันได้ภายในชุดข้อมูลโดยใช้อิมเมจการสืบค้นที่อัปโหลด
ใช้เคส
- รังสีวิทยา (การพิสูจน์แนวคิด): เป็นเครื่องมือสำหรับนักรังสีวิทยาในการอ้างอิงภาพรังสีเอกซ์ที่คล้ายกันอย่างรวดเร็วซึ่งอาจช่วยในการวินิจฉัยหรือระบุรูปแบบที่ลึกซึ้ง
- การวิจัย (การสำรวจ): ช่วยให้นักวิจัยสามารถตรวจสอบความสัมพันธ์ที่อาจเกิดขึ้นระหว่างภาพเอ็กซเรย์ตามความคล้ายคลึงกันของภาพ
- การศึกษา (การสาธิต): ทำหน้าที่เป็นตัวช่วยการเรียนรู้เพื่อทำความเข้าใจการเป็นตัวแทนภาพและการค้นหาความคล้ายคลึงกันในบริบททางการแพทย์
ซ้อนเทค
แบ็กเอนด์:
- งูหลาม
- Flask (Web Framework)
- Milvus (ฐานข้อมูลการค้นหาความคล้ายคลึงกันของเวกเตอร์)
- Tensorflow (รุ่น Resnet-50)
ส่วนหน้า:
- HTML, CSS
- JavaScript (Fetch API หรือ AJAX สำหรับการโต้ตอบ API)
ฐานข้อมูล:
- PostgressQL (ที่เก็บภาพและข้อมูลเมตา)
ชุดข้อมูล
- SHISHX-RAY14: ชุดข้อมูล X-RAY ที่เปิดเผยต่อสาธารณะเหมาะสำหรับการสร้างต้นแบบเริ่มต้น
สถาปัตยกรรมระบบ
รูปแบบการเรียนรู้ลึก:
- RESNET-50 (ได้รับการฝึกฝนล่วงหน้าบน Imagenet): โมเดลนี้แยกเวกเตอร์คุณลักษณะที่มีความหมายซึ่งแสดงถึงเนื้อหาภาพของภาพเอ็กซ์เรย์ เราใช้ประโยชน์จากแบบจำลองที่ผ่านการฝึกอบรมมาล่วงหน้าเพื่อประสิทธิภาพและเพื่อหลีกเลี่ยงการฝึกอบรมที่กว้างขวางสำหรับต้นแบบนี้
ฐานข้อมูลการค้นหาความคล้ายคลึงกันของเวกเตอร์:
- Milvus: ปรับให้เหมาะสมสำหรับการค้นหาความคล้ายคลึงกันอย่างรวดเร็วและมีประสิทธิภาพในข้อมูลเวกเตอร์มิติสูง
เวิร์กโฟลว์
การประมวลผลภาพล่วงหน้า: รังสีเอกซ์ที่เข้ามาจะถูกปรับขนาดและทำให้เป็นมาตรฐานเพื่อความสม่ำเสมอ
การแยกคุณสมบัติ: โมเดล ResNet-50 ที่ผ่านการฝึกอบรมมาก่อน (โดยไม่มีเลเยอร์การจำแนกขั้นสุดท้าย) แปลงภาพ X-ray แต่ละภาพเป็นเวกเตอร์คุณสมบัติมิติสูง
การจัดเก็บเวกเตอร์: Milvus เก็บเวกเตอร์คุณสมบัติที่แยกออกมาทำให้สามารถเปรียบเทียบความคล้ายคลึงกันได้อย่างรวดเร็ว
Query Image: ผู้ใช้อัปโหลดภาพเอ็กซ์เรย์แบบสอบถาม
ค้นหา:
- เวกเตอร์คุณสมบัติของภาพคิวรีถูกสร้างขึ้น
- Milvus ทำการค้นหาความคล้ายคลึงกันของเวกเตอร์ค้นหาภาพที่คล้ายกันมากที่สุดภายในชุดข้อมูล
ผลลัพธ์: แบ็กเอนด์ส่งคืนรูปภาพและ ID ของภาพรังสีเอกซ์ที่คล้ายกันมากที่สุดที่พบ
ส่วนหน้า (น้อยที่สุดสำหรับต้นแบบ)
เว็บอินเตอร์เฟสพื้นฐานช่วยให้ผู้ใช้สามารถอัปโหลดรูปภาพและแสดงภาพ X-ray ที่ดึงมาพร้อมกับ ID ของพวกเขา
ผลลัพธ์
Medsearch ประสบความสำเร็จในการแสดงหลักการสำคัญของการค้นหาความคล้ายคลึงกันของเวกเตอร์สำหรับการดึงภาพทางการแพทย์ ผู้ใช้สามารถอัปโหลดรูปภาพแบบสอบถามและดูภาพ X-ray ที่คล้ายกันที่ดึงมาจากชุดข้อมูล
การปรับปรุงในอนาคต
- การปรับแต่งแบบจำลอง: ปรับปรุงผลลัพธ์ที่คล้ายคลึงกันสำหรับโดเมน X-ray โดยการปรับแต่งโมเดล RESNET-50 บนชุดข้อมูล X-ray
- การค้นหาข้อมูลเมตา: รวมข้อมูลเมตา (เช่นการวินิจฉัย) ด้วยการค้นหาเวกเตอร์เพื่อการดึงข้อมูลที่มุ่งเน้นมากขึ้น
- ความสามารถในการปรับขนาด: ตรวจสอบการเพิ่มประสิทธิภาพฐานข้อมูลและสถาปัตยกรรมแบบกระจายเพื่อรองรับชุดข้อมูลขนาดใหญ่
