이 저장소에는 GPT-4V를 사용하여 피부과 이미지에서 컨텍스트 학습 (ICL)을 수행하기위한 코드 및 데이터가 포함되어 있습니다. 이 프로젝트는 몇 가지 샷 학습 기술을 사용하여 피부과 이미지를 흑색 종 또는 양성으로 분류하는 것을 목표로합니다.
? 종이를 읽으십시오

.
├── data # Contains subdirectories for processed data
│ ├── all
│ ├── all_resized
│ ├── bn
│ ├── bn_resized
│ ├── bn_resized_label
│ ├── mm
│ ├── mm_resized
│ ├── mm_resized_label
│ └── selected_images.xlsx # Image names
├── RAW # Contains raw data downloaded from ISCI Archive
├── result # Results from running API_calling will be stored here as .json files
│ ├── 1_shot_v3.0_KNN
│ ├── 1_shot_v3.0_Random
│ └── ...
├── API_calling.py # Call OpenAI API for classification
├── data_labeling.py # Add label to the resized data
├── data_resizing.py # Resize the data with the original aspect ratio
├── data_selection.py # Select data from RAW
├── README.md
├── result_analysis.py # Compute stats for AI-generated content
├── result_visualization.ipynb # Visualize the results
└── topK_finding.py # Find the top-k similar images to the query image
모든 피부과 이미지는 ISIC 아카이브에서 다운로드됩니다.

이 프로젝트는 학업 연구 목적으로 만 사용됩니다. 이 저장소의 코드는 MIT 라이센스에 따라 해제됩니다. 제공된 데이터를 사용하는 경우 ISIC 아카이브를 인용하십시오.

GPT4V는 자연스럽게 피부과 이미지 분류에 "ABCD"규칙을 사용했습니다.
제로 샷 학습에는 도메인 지식이 올바르게 적용되지 않았습니다.

소수의 샷 학습에 올바르게 사용되는 도메인 지식 :

참조 이미지는 소수의 학습을 위해 무작위로 선택되었습니다. 더 많은 대표적인 예가 GPT4V가 올바른 결정을 내리는 데 도움이 될지 확인하기 위해, 우리는 각 범주에서 참조로 사용되는 상위 K 유사한 이미지를 찾기 위해 KNN 유사성을 채택했습니다.

색상이 분류 결과에 어떤 영향을 미치는지 결정하기 위해 색상에 대한 절제 테스트를 수행했습니다.

소수의 쇼어 학습은 2 또는 3 예제로 분류 정확도를 약 50%에서 75% 수준으로 쉽게 향상시킵니다.

놀랍게도, KNN은 정확도에 도움이되지 않았습니다.
우리는 2 개의 기준 세트에 적용되는 다양한 KNN과 무작위 샘플링의 조합을 탐색하여 단순성을위한 기준선으로 임의의 샘플링을 사용하여 원샷 학습을 사용했습니다.

피부암 진단에 사용되는 중요한 패턴으로서 색상은 결과에 큰 영향을 미칩니다.