Dermoscopic Image ICL GPT4

Dermoskopisches Bild im Kontextlernen (ICL) mit GPT4V

Dieses Repository enthält Code und Daten zur Durchführung von In-Context-Lernen (ICL) auf Dermoskopischen Bildern mit GPT-4V. Das Projekt zielt darauf ab, Dermoskopische Bilder als Melanom oder gutartige mit wenigen Schuss-Lerntechniken zu klassifizieren.

? Lesen Sie das Papier

Anforderungen

1. Pandas
2. Pil
3. Transformator
4. JSON
5. Scipy
6. Openai
7. Basis64

Repository -Struktur

 .
├── data                                 # Contains subdirectories for processed data
│   ├── all
│   ├── all_resized
│   ├── bn
│   ├── bn_resized
│   ├── bn_resized_label
│   ├── mm
│   ├── mm_resized
│   ├── mm_resized_label
│   └── selected_images.xlsx            # Image names
├── RAW                                 # Contains raw data downloaded from ISCI Archive
├── result                              # Results from running API_calling will be stored here as .json files
│   ├── 1_shot_v3.0_KNN
│   ├── 1_shot_v3.0_Random
│   └── ...
├── API_calling.py                       # Call OpenAI API for classification
├── data_labeling.py                     # Add label to the resized data
├── data_resizing.py                     # Resize the data with the original aspect ratio
├── data_selection.py                    # Select data from RAW
├── README.md                            
├── result_analysis.py                   # Compute stats for AI-generated content
├── result_visualization.ipynb           # Visualize the results
└── topK_finding.py                      # Find the top-k similar images to the query image

Daten

Alle Dermoskopischen Bilder werden vom ISIC -Archiv heruntergeladen.

Haftungsausschluss

Dieses Projekt dient nur für akademische Forschungszwecke. Der Code in diesem Repository wird unter der MIT -Lizenz veröffentlicht. Wenn Sie die bereitgestellten Daten verwenden, zitieren Sie bitte das ISIC -Archiv.

ICL mit GPT4V

Allgemeiner Workflow:

1. Laden Sie die Rohdaten aus dem ISIC -Archiv herunter
2. Daten auswählen:
   • Python data_selection.py -[Optionen] ausführen
3. Prozessdaten:
   • Führen Sie Python Data_Resize.py -[Optionen] aus.
   • Führen Sie Python data_labeling.py -[Optionen] aus.
4. API anrufen:
   • Führen Sie Python api_calling.py -[Optionen] aus
5. AI -Antwort analysieren:
   • Python result_analysis.py -[Optionen] ausführen
6. Visualisieren Sie die Antwort:
   • Führen Sie Python result_visualization.ipynb aus

Null-Shot gegen wenige Shot

GPT4V verwendete natürlich die "ABCD" -Regel für diemoskopische Bildklassifizierung.

Das Domänenwissen galt im Null-Shot-Lernen nicht richtig:

Domänenwissen korrekt im Wenig-Shot-Lernen verwendet:

Wählen Sie Referenzbeispiele mit KNN aus

Das Referenzbild wurde nach dem Zufallsprinzip für wenige Schüsse ausgewählt. Um festzustellen, ob repräsentativere Beispiele GPT4V helfen würden, die richtige Entscheidung zu treffen, haben wir die KNN -Ähnlichkeit übernommen, um die oberen k ähnlichen Bilder in jeder Kategorie zu finden, die als Referenzen dient.

Ablationstest auf Farbe

Um festzustellen, wie sich die Farbe auf das Klassifizierungsergebnis auswirkt, haben wir einen Ablationstest zur Farbe durchgeführt.

Ergebnisse

Nur wenige Lernen steigern die Klassifizierungsgenauigkeit leicht von etwa 50% auf 75% mit nur 2 oder 3 Beispielen.

Überraschenderweise half der KNN bei der Genauigkeit nicht.
Wir haben verschiedene Kombinationen von KNN und zufällige Stichproben untersucht, die auf die beiden Referenzsätze angewendet wurden, wobei ein One-Shot-Lernen mit zufälliger Stichproben als Grundlinie für den Einfachheit halber verwendet wurde

Als wichtiges Muster, das bei der Diagnose der Hautkrebs verwendet wird, hat Farbe einen signifikanten Einfluss auf die Ergebnisse.