MedSearch : 벡터 전원 X- 선 이미지 유사성 검색
개요
MedSearch는 벡터 유사성 검색 기술을 의료 이미지 검색에 적용하는 것을 탐구합니다. 핵심 초점은 사용자가 업로드 된 쿼리 이미지를 사용하여 데이터 세트 내에서 시각적으로 유사한 X- 레이 이미지를 찾을 수있는 개념 증명 시스템을 개발하는 데 있습니다.
사용 사례
- 방사선학 (개념 증명) : 방사선 전문의가 시각적으로 유사한 X- 레이 이미지를 신속하게 참조 할 수있는 도구를 제공하여 진단을 돕거나 미묘한 패턴을 식별합니다.
- 연구 (탐사) : 연구자들은 시각적 유사성을 기반으로 X- 레이 이미지 사이의 잠재적 관계를 조사 할 수있게합니다.
- 교육 (데모) : 의학적 맥락에서 이미지 표현 및 유사성 검색을 이해하기위한 학습 원조 역할을합니다.
기술 스택
백엔드 :
- 파이썬
- 플라스크 (웹 프레임 워크)
- Milvus (벡터 유사성 검색 데이터베이스)
- 텐서 플로우 (RESNET-50 모델)
프론트 엔드 :
- HTML, CSS
- JavaScript (API 상호 작용을위한 API 또는 AJAX)
데이터베이스 :
- postgressql (이미지 저장 및 메타 데이터)
데이터 세트
- Chestx-Ray14 : 초기 프로토 타이핑에 적합한 공개적으로 이용 가능한 X- 선 데이터 세트.
시스템 아키텍처
딥 러닝 모델 :
- RESNET-50 (ImageNet에서 미리 훈련) :이 모델은 X- 선 이미지의 시각적 컨텐츠를 나타내는 의미있는 기능 벡터를 추출합니다. 우리는 효율성을 위해 미리 훈련 된 모델을 활용 하고이 프로토 타입에 대한 광범위한 교육을 피합니다.
벡터 유사성 검색 데이터베이스 :
- MILVUS : 고차원 벡터 데이터에 대한 빠르고 효율적인 유사성 검색에 최적화되었습니다.
워크 플로
이미지 전처리 : 들어오는 X- 레이는 일관성을 위해 크기를 조정하고 정규화합니다.
기능 추출 : 사전 훈련 된 RESNET-50 모델 (최종 분류 계층이없는)은 각 X- 선 이미지를 고차원 피처 벡터로 변환합니다.
벡터 저장 : Milvus는 추출 된 기능 벡터를 저장하여 빠른 유사성 비교를 가능하게합니다.
쿼리 이미지 : 사용자는 쿼리 X- 레이 이미지를 업로드합니다.
찾다:
- 쿼리 이미지의 기능 벡터가 생성됩니다.
- Milvus는 벡터 유사성 검색을 수행하여 데이터 세트에서 가장 시각적으로 유사한 이미지를 찾습니다.
결과 : 백엔드는 가장 유사한 X- 레이 이미지의 이미지와 ID를 반환합니다.
프론트 엔드 (프로토 타입의 최소)
기본 웹 인터페이스를 통해 사용자는 이미지를 업로드하고 ID와 함께 검색된 X- 레이 이미지를 표시 할 수 있습니다.
결과
MedSearch는 의료 이미지 검색에 대한 벡터 유사성 검색의 핵심 원리를 성공적으로 보여줍니다. 사용자는 쿼리 이미지를 업로드하고 데이터 세트에서 검색된 시각적으로 유사한 X- 레이 이미지를 볼 수 있습니다.
향후 향상
- 모델 미세 조정 : X- 선 데이터 세트에서 RESNET-50 모델을 미세 조정하여 X- 선 도메인의 유사성 결과를 향상시킵니다.
- 메타 데이터 검색 : 메타 데이터 (예 : 진단)를 벡터 검색과 통합하여보다 집중된 검색을 위해.
- 확장 성 : 더 큰 데이터 세트를 수용하기 위해 데이터베이스 최적화 및 분산 아키텍처를 조사합니다.
