Medsearch：矢量驅動的X射線圖像相似性搜索
概述
MedSearch探索了向量相似性搜索技術在醫療圖像檢索中的應用。核心重點是開發概念驗證系統，該系統使用戶能夠使用上傳的查詢圖像在數據集中找到類似的X射線圖像。
用例
- 放射學（概念驗證）：為放射科醫生提供一種工具，可以快速參考視覺上相似的X射線圖像，從而有助於診斷或識別微妙的模式。
- 研究（探索）：允許研究人員根據視覺相似性研究X射線圖像之間的潛在關係。
- 教育（演示）：在醫學環境中可以理解圖像表示和相似性搜索的學習幫助。
技術堆棧
後端：
- Python
- 燒瓶（網絡框架）
- MILVUS（向量相似性搜索數據庫）
- TensorFlow（Resnet-50型號）
前端：
- HTML，CSS
- JavaScript（用於API交互的Fetch API或AJAX）
資料庫:
數據集
- CHESTX-RAY14：公開可用的X射線數據集，適用於初始原型。
系統體系結構
深度學習模型：
- RESNET-50（在Imagenet上進行了預訓練）：該模型提取了代表X射線圖像的視覺內容的有意義的特徵向量。我們利用預先訓練的模型來提高效率，並避免對該原型進行廣泛的培訓。
向量相似性搜索數據庫：
- MILVUS：在高維矢量數據上進行快速有效的相似性搜索進行了優化。
工作流程
圖像預處理：調整傳入的X射線並標準化以保持一致性。
特徵提取：預訓練的Resnet-50模型（沒有最終分類層）將每個X射線圖像轉換為高維特徵向量。
向量存儲：Milvus存儲提取的特徵向量，從而實現快速相似性比較。
查詢圖像：用戶上傳查詢X射線圖像。
搜尋:
- 查詢圖像的特徵向量是生成的。
- MILVUS執行矢量相似性搜索，從而在數據集中找到最相似的圖像。
結果：後端返回發現最相似X射線圖像的圖像和ID。
前端（原型最小）
基本的Web界面允許用戶上傳圖像並顯示X射線圖像及其ID。
結果
MedSearch成功地展示了媒介相似性搜索醫學圖像檢索的核心原理。用戶可以上傳查詢映像，並查看從數據集檢索到的視覺上相似的X射線圖像。
未來的增強
- 模型微調：通過微調X射線數據集上的Resnet-50模型來改善X射線域的相似性結果。
- 元數據搜索：將元數據（例如，診斷）與矢量搜索進行更集中的檢索。
- 可伸縮性：研究數據庫優化和分佈式體系結構以容納較大的數據集。
