Dermoscopic Image ICL GPT4

GPT4Vを使用したDermoscopic Image In Context Learning（ICL）

このリポジトリには、GPT-4Vを使用してDermoscopic画像でコンテキスト内学習（ICL）を実行するためのコードとデータが含まれています。このプロジェクトの目的は、少数のショット学習技術を使用して、真皮画像を黒色腫または良性に分類することを目的としています。

？論文を読んでください

要件

1. パンダ
2. ピル
3. トランス
4. JSON
5. scipy
6. Openai
7. base64

リポジトリ構造

 .
├── data                                 # Contains subdirectories for processed data
│   ├── all
│   ├── all_resized
│   ├── bn
│   ├── bn_resized
│   ├── bn_resized_label
│   ├── mm
│   ├── mm_resized
│   ├── mm_resized_label
│   └── selected_images.xlsx            # Image names
├── RAW                                 # Contains raw data downloaded from ISCI Archive
├── result                              # Results from running API_calling will be stored here as .json files
│   ├── 1_shot_v3.0_KNN
│   ├── 1_shot_v3.0_Random
│   └── ...
├── API_calling.py                       # Call OpenAI API for classification
├── data_labeling.py                     # Add label to the resized data
├── data_resizing.py                     # Resize the data with the original aspect ratio
├── data_selection.py                    # Select data from RAW
├── README.md                            
├── result_analysis.py                   # Compute stats for AI-generated content
├── result_visualization.ipynb           # Visualize the results
└── topK_finding.py                      # Find the top-k similar images to the query image

データ

すべてのデモスコピック画像はISICアーカイブからダウンロードされます。

免責事項

このプロジェクトは、学術研究目的のみを目的としています。このリポジトリのコードは、MITライセンスの下でリリースされます。提供されたデータを使用する場合は、ISICアーカイブを引用してください。

gpt4vを備えたICL

一般的なワークフロー：

1. ISICアーカイブから生データをダウンロードします
2. データを選択します：
   • python data_selection.pyを実行 - [オプション]
3. 処理データ：
   • python data_resizeing.pyを実行 - [オプション]
   • python data_labeling.pyを実行 - [オプション]
4. APIに電話：
   • python api_calling.pyを実行 - [オプション]
5. AI応答の分析：
   • python result_analysis.pyを実行 - [オプション]
6. 応答を視覚化します：
   • python result_visualization.ipynbを実行します

ゼロショットと少数のショット

GPT4Vは、Dermoscopic画像分類に「ABCD」ルールを自然に使用しました。

ゼロショット学習にはドメインの知識が正しく適用されませんでした：

少数のショット学習で正しく使用されるドメイン知識：

KNNを使用して参照例を選択します

参照画像は、少数のショット学習のためにランダムに選ばれました。より多くの代表的な例がGPT4Vが正しい決定を下すのに役立つかどうかを判断するために、KNNの類似性を採用して、各カテゴリの上位K同様の画像を参照として機能させました。

色のアブレーションテスト

色が分類結果にどのように影響するかを判断するために、色のアブレーションテストを実行しました。

結果

数値の学習は、2つまたは3つの例でのみ分類精度を約50％から75％レベルから75％レベルに簡単に向上させます。

驚くべきことに、KNNは正確さを助けませんでした。
2つの参照セットに適用されたKNNとランダムサンプリングのさまざまな組み合わせを調査しました。

皮膚がんの診断で使用される重要なパターンとして、色は結果に大きな影響を与えます。