Dermoscopic Image ICL GPT4

帶有gpt4v的皮膚鏡圖像在文化內部學習（ICL）

該存儲庫包含用於使用GPT-4V在皮膚鏡圖像上執行內部文化學習（ICL）的代碼和數據。該項目旨在使用少量學習技術將皮膚鏡圖像分類為黑色素瘤或良性。

？閱讀論文

要求

1. 貓熊
2. pil
3. 變壓器
4. JSON
5. Scipy
6. Openai
7. 基礎64

存儲庫結構

 .
├── data                                 # Contains subdirectories for processed data
│   ├── all
│   ├── all_resized
│   ├── bn
│   ├── bn_resized
│   ├── bn_resized_label
│   ├── mm
│   ├── mm_resized
│   ├── mm_resized_label
│   └── selected_images.xlsx            # Image names
├── RAW                                 # Contains raw data downloaded from ISCI Archive
├── result                              # Results from running API_calling will be stored here as .json files
│   ├── 1_shot_v3.0_KNN
│   ├── 1_shot_v3.0_Random
│   └── ...
├── API_calling.py                       # Call OpenAI API for classification
├── data_labeling.py                     # Add label to the resized data
├── data_resizing.py                     # Resize the data with the original aspect ratio
├── data_selection.py                    # Select data from RAW
├── README.md                            
├── result_analysis.py                   # Compute stats for AI-generated content
├── result_visualization.ipynb           # Visualize the results
└── topK_finding.py                      # Find the top-k similar images to the query image

數據

所有皮膚鏡圖像均從ISIC存檔下載。

免責聲明

該項目僅用於學術研究目的。此存儲庫中的代碼按MIT許可發布。如果使用提供的數據，請引用ISIC存檔。

ICL與GPT4V

一般工作流程：

1. 從ISIC存檔下載原始數據
2. 選擇數據：
   • 運行python data_selection.py- [選項]
3. 過程數據：
   • 運行python data_resizeing.py- [選項]
   • 運行python data_labeling.py- [選項]
4. 致電API：
   • 運行python api_calling.py- [選項]
5. 分析AI響應：
   • 運行python result_analysis.py- [選項]
6. 可視化響應：
   • 運行python result_visualization.ipynb

零射擊與幾射擊

GPT4V自然使用“ ABCD”規則進行皮膚鏡圖像分類。

域知識在零射門學習中沒有正確適用：

在幾次學習中正確使用的領域知識：

選擇使用KNN的參考示例

隨機選擇參考圖像以進行幾次學習。為了確定更多的代表性示例是否有助於GPT4V做出正確的決定，我們採用了KNN相似性，以在每個類別中找到作為參考文獻的頂部K相似圖像。

顏色的消融測試

為了確定顏色如何影響分類結果，我們對顏色進行了消融測試。

結果

很少有節目的學習很容易將分類準確性從約50％提高到75％的水平，只有2個或3個示例。

令人驚訝的是，KNN無助於準確性。
我們探索了將KNN和隨機抽樣應用於兩個參考集的各種組合，以隨機抽樣為基準，以簡單為基準

作為用於皮膚癌診斷的重要模式，顏色對結果有重大影響。