Dermoscopic Image ICL GPT4

Image dermoscopique Apprentissage en contexte (ICL) avec GPT4V

Ce référentiel contient du code et des données pour effectuer l'apprentissage en contexte (ICL) sur les images dermoscopiques à l'aide de GPT-4V. Le projet vise à classer les images dermoscopiques comme un mélanome ou bénin à l'aide de techniques d'apprentissage à quelques coups.

? Lire le journal

Exigences

1. pandas
2. Pilote
3. transformateur
4. json
5. cavalier
6. Openai
7. base64

Structure de référentiel

 .
├── data                                 # Contains subdirectories for processed data
│   ├── all
│   ├── all_resized
│   ├── bn
│   ├── bn_resized
│   ├── bn_resized_label
│   ├── mm
│   ├── mm_resized
│   ├── mm_resized_label
│   └── selected_images.xlsx            # Image names
├── RAW                                 # Contains raw data downloaded from ISCI Archive
├── result                              # Results from running API_calling will be stored here as .json files
│   ├── 1_shot_v3.0_KNN
│   ├── 1_shot_v3.0_Random
│   └── ...
├── API_calling.py                       # Call OpenAI API for classification
├── data_labeling.py                     # Add label to the resized data
├── data_resizing.py                     # Resize the data with the original aspect ratio
├── data_selection.py                    # Select data from RAW
├── README.md                            
├── result_analysis.py                   # Compute stats for AI-generated content
├── result_visualization.ipynb           # Visualize the results
└── topK_finding.py                      # Find the top-k similar images to the query image

Données

Toutes les images dermoscopiques sont téléchargées à partir de l'archive ISIC.

Clause de non-responsabilité

Ce projet est uniquement à des fins de recherche académique. Le code de ce référentiel est publié sous la licence MIT. Si vous utilisez les données fournies, veuillez citer l'archive ISIC.

ICL avec GPT4V

Flux de travail général:

1. Téléchargez les données brutes de l'archive ISIC
2. Sélectionnez des données:
   • Exécutez python data_selection.py - [Options]
3. Données de processus:
   • Exécutez python data_resizeing.py - [Options]
   • Exécutez Python Data_Labeling.py - [Options]
4. Appel API:
   • Exécutez Python api_calling.py - [Options]
5. Analyser la réponse AI:
   • Exécutez Python result_analysis.py - [Options]
6. Visualisez la réponse:
   • exécuter python result_visualisation.ipynb

Zéro-shot vs quelques coups

GPT4V a naturellement utilisé la règle "ABCD" pour la classification de l'image dermoscopique.

Les connaissances du domaine ne s'appliquent pas correctement à l'apprentissage zéro:

Connaissances du domaine correctement utilisées dans l'apprentissage à quelques coups:

Sélectionnez des exemples de référence avec KNN

L'image de référence a été choisie au hasard pour un apprentissage à quelques coups. Pour déterminer si des exemples plus représentatifs aideraient GPT4V à prendre la bonne décision, nous avons adopté la similitude KNN pour trouver les K supérieures dans chaque catégorie servant de références.

Test d'ablation sur la couleur

Pour déterminer comment la couleur affecte le résultat de la classification, nous avons effectué un test d'ablation sur la couleur.

Résultats

L'apprentissage à quelques spectacles augmente facilement la précision de la classification d'environ 50% à un niveau de 75% avec seulement 2 ou 3 exemples.

Étonnamment, le KNN n'a pas aidé avec la précision.
Nous avons exploré diverses combinaisons de KNN et d'échantillonnage aléatoire appliquées aux deux ensembles de référence, en utilisant un apprentissage à un coup avec un échantillonnage aléatoire comme notre ligne de base pour la simplicité

En tant que schéma important utilisé dans le diagnostic du cancer de la peau, la couleur a une influence significative sur les résultats.