MedSearch: بحث تشابه صورة الأشعة السينية التي تعمل بالطاقة
ملخص
يستكشف MedSearch تطبيق تقنيات بحث تشابه المتجه لاسترجاع الصور الطبية. ينصب التركيز الأساسي على تطوير نظام إثبات المفهوم الذي يمكّن المستخدمين من العثور على صور بالأشعة السينية المتشابهة بصريًا داخل مجموعة بيانات باستخدام صورة استعلام تم تحميلها.
استخدام الحالات
- الأشعة (إثبات المفهوم): يوفر أداة لأخصائيي الأشعة للإشارة بسرعة إلى صور الأشعة السينية المتشابهة بصريًا ، وربما تعادل في التشخيص أو تحديد الأنماط الدقيقة.
- البحث (الاستكشاف): يسمح للباحثين بالتحقيق في العلاقات المحتملة بين صور الأشعة السينية بناءً على التشابه البصري.
- التعليم (العرض التوضيحي): بمثابة مساعدة تعليمية لفهم تمثيل الصور والبحث عن التشابه في سياق طبي.
مكدس التكنولوجيا
الخلفية:
- بيثون
- Flask (إطار الويب)
- ميلفوس (قاعدة بيانات بحث تشابه المتجه)
- TensorFlow (نموذج RESNET-50)
الواجهة الأمامية:
- HTML ، CSS
- JavaScript (Fetch API أو Ajax لتفاعلات API)
قواعد البيانات:
- postgressql (تخزين الصور والبيانات الوصفية)
مجموعة البيانات
- Custx-Ray14: مجموعة بيانات الأشعة السينية المتاحة للجمهور مناسبة للنماذج الأولية الأولية.
بنية النظام
نموذج التعلم العميق:
- RESNET-50 (تم تدريبه مسبقًا على ImageNet): يستخرج هذا النموذج متجهات ميزة ذات معنى تمثل المحتوى المرئي لصور الأشعة السينية. نحن نستفيد من نموذج تدريب مسبقًا للكفاءة وتجنب التدريب المكثف لهذا النموذج الأولي.
قاعدة بيانات البحث عن تشابه المتجه:
- ميلفوس: تم تحسينه للبحث عن التشابه السريع والفعال على بيانات المتجهات عالية الأبعاد.
سير العمل
المعالجة المسبقة للصور: يتم تغيير حجم الأشعة السينية الواردة وتطبيعها من أجل الاتساق.
استخراج الميزات: يحول نموذج RESNET-50 الذي تم تدريبه مسبقًا (بدون طبقة التصنيف النهائية) كل صورة بالأشعة السينية إلى متجه ميزة عالية الأبعاد.
تخزين المتجهات: تخزن Milvus ناقلات الميزات المستخرجة ، مما يتيح مقارنات التشابه السريع.
صورة الاستعلام: يقوم المستخدم بتحميل صورة استفسار بالأشعة السينية.
يبحث:
- يتم إنشاء ناقل ميزة صورة الاستعلام.
- يقوم Milvus بإجراء بحث عن المتجه ، ويجد الصور الأكثر تشابهًا بصريًا داخل مجموعة البيانات.
النتائج: تُرجع الواجهة الخلفية الصور والمعرفات لأكثر صور الأشعة السينية المتشابهة.
الواجهة الأمامية (الحد الأدنى للنموذج الأولي)
تتيح واجهة الويب الأساسية للمستخدمين تحميل صورة وعرض صور الأشعة السينية التي تم استردادها مع معرفاتهم.
نتائج
يوضح MedSearch بنجاح المبادئ الأساسية للبحث عن تشابه المتجه عن استرجاع الصور الطبية. يمكن للمستخدمين تحميل صورة استعلام ورؤية صور الأشعة السينية المماثلة بصريًا تم استردادها من مجموعة البيانات.
التحسينات المستقبلية
- صقل النموذج النموذجي: تحسين نتائج التشابه لمجال الأشعة السينية عن طريق ضبط نموذج RESNET-50 على مجموعة بيانات الأشعة السينية.
- بحث البيانات الوصفية: دمج البيانات الوصفية (على سبيل المثال ، التشخيص) مع البحث المتجه عن استرجاع أكثر تركيزًا.
- قابلية التوسع: التحقيق في تحسينات قواعد البيانات والبنية الموزعة لاستيعاب مجموعات البيانات الكبيرة.
