MedSearch: векторный рентгеновский изображение Поиск сходства изображений
Обзор
MedSearch исследует применение методов поиска вектора для поиска медицинского изображения. Основное внимание уделяется разработке системы подтверждения концепции, которая позволяет пользователям находить визуально сходные рентгеновские изображения в наборе данных, используя загруженное изображение запроса.
Варианты использования
- Радиология (доказательство концепции): предоставляет рентгенологам инструмент для быстрого ссылки на визуально сходных рентгеновских изображений, потенциально помогая в диагностике или выявлении тонких паттернов.
- Исследование (исследование): позволяет исследователям исследовать потенциальные отношения между рентгеновскими изображениями на основе визуального сходства.
- Образование (демонстрация): служит помощи в обучении для понимания представлений изображений и поиска сходства в медицинском контексте.
Технический стек
Бэкэнд:
- Питон
- Колба (веб -структура)
- Milvus (база данных поиска вектора сходства)
- Tensorflow (модель Resnet-50)
Внешний интерфейс:
- HTML, CSS
- JavaScript (Fetch API или Ajax для взаимодействия API)
Базы данных:
- PostgressQL (хранение изображений и метаданные)
Набор данных
- Sparkx-ray14: общедоступный рентгеновский набор данных, подходящий для первоначального прототипирования.
Системная архитектура
Модель глубокого обучения:
- RESNET-50 (предварительно обучаемый на ImageNet): эта модель извлекает значимые векторы функций, представляющие визуальное содержание рентгеновских изображений. Мы используем предварительно обученную модель для эффективности и избегать обширных тренировок для этого прототипа.
Векторная сходство базы данных поиска:
- Milvus: оптимизированный для быстрого и эффективного поиска сходства на данных с высоким уровнем вектора.
Рабочий процесс
Предварительная обработка изображения: входящие рентгеновские снимки изменяются и нормализуются для согласованности.
Извлечение функций: предварительно обученная модель Resnet-50 (без конечного уровня классификации) преобразует каждое рентгеновское изображение в вектор высокоразмерных признаков.
Векторное хранилище: Milvus сохраняет извлеченные векторы функций, что позволяет быстро сравнить сходство.
Изображение запроса: пользователь загружает рентгеновское изображение запроса.
Поиск:
- Вектор функций изображения запроса генерируется.
- Milvus выполняет поиск сходства вектора, находя наиболее визуально похожие изображения в наборе данных.
Результаты: бэкэнд возвращает изображения и идентификаторы наиболее похожих найденных изображений рентгеновских лучей.
Frontend (минимальный для прототипа)
Базовый веб-интерфейс позволяет пользователям загружать изображение и отображать рентгеновские изображения, полученные вместе с их идентификаторами.
Результаты
MedSearch успешно демонстрирует основные принципы поиска сходства вектора для поиска медицинского изображения. Пользователи могут загружать изображение запроса и увидеть визуально похожие рентгеновские изображения, полученные из набора данных.
Будущие улучшения
- Модель тонкой настройки: улучшить результаты сходства для рентгеновского домена, настраивая модель RESNET-50 в наборе данных рентгеновских лучей.
- Поиск метаданных: интегрируйте метаданные (например, диагностику) с векторным поиском более целенаправленного поиска.
- Масштабируемость: исследовать оптимизации базы данных и распределенные архитектуры для размещения более крупных наборов данных.
