Dermoscopic Image ICL GPT4

带有gpt4v的皮肤镜图像在文化内部学习（ICL）

该存储库包含用于使用GPT-4V在皮肤镜图像上执行内部文化学习（ICL）的代码和数据。该项目旨在使用少量学习技术将皮肤镜图像分类为黑色素瘤或良性。

？阅读论文

要求

1. 熊猫
2. pil
3. 变压器
4. JSON
5. Scipy
6. Openai
7. 基础64

存储库结构

 .
├── data                                 # Contains subdirectories for processed data
│   ├── all
│   ├── all_resized
│   ├── bn
│   ├── bn_resized
│   ├── bn_resized_label
│   ├── mm
│   ├── mm_resized
│   ├── mm_resized_label
│   └── selected_images.xlsx            # Image names
├── RAW                                 # Contains raw data downloaded from ISCI Archive
├── result                              # Results from running API_calling will be stored here as .json files
│   ├── 1_shot_v3.0_KNN
│   ├── 1_shot_v3.0_Random
│   └── ...
├── API_calling.py                       # Call OpenAI API for classification
├── data_labeling.py                     # Add label to the resized data
├── data_resizing.py                     # Resize the data with the original aspect ratio
├── data_selection.py                    # Select data from RAW
├── README.md                            
├── result_analysis.py                   # Compute stats for AI-generated content
├── result_visualization.ipynb           # Visualize the results
└── topK_finding.py                      # Find the top-k similar images to the query image

数据

所有皮肤镜图像均从ISIC存档下载。

免责声明

该项目仅用于学术研究目的。此存储库中的代码按MIT许可发布。如果使用提供的数据，请引用ISIC存档。

ICL与GPT4V

一般工作流程：

1. 从ISIC存档下载原始数据
2. 选择数据：
   • 运行python data_selection.py- [选项]
3. 过程数据：
   • 运行python data_resizeing.py- [选项]
   • 运行python data_labeling.py- [选项]
4. 致电API：
   • 运行python api_calling.py- [选项]
5. 分析AI响应：
   • 运行python result_analysis.py- [选项]
6. 可视化响应：
   • 运行python result_visualization.ipynb

零射击与几射击

GPT4V自然使用“ ABCD”规则进行皮肤镜图像分类。

域知识在零射门学习中没有正确适用：

在几次学习中正确使用的领域知识：

选择使用KNN的参考示例

随机选择参考图像以进行几次学习。为了确定更多的代表性示例是否有助于GPT4V做出正确的决定，我们采用了KNN相似性，以在每个类别中找到作为参考文献的顶部K相似图像。

颜色的消融测试

为了确定颜色如何影响分类结果，我们对颜色进行了消融测试。

结果

很少有节目的学习很容易将分类准确性从约50％提高到75％的水平，只有2个或3个示例。

令人惊讶的是，KNN无助于准确性。
我们探索了将KNN和随机抽样应用于两个参考集的各种组合，以随机抽样为基准，以简单为基准

作为用于皮肤癌诊断的重要模式，颜色对结果有重大影响。