Dermoscopic Image ICL GPT4

Gambar In-Context Incontext Image Dermoscopic dengan GPT4V

Repositori ini berisi kode dan data untuk melakukan pembelajaran dalam konteks (ICL) pada gambar dermoscopic menggunakan GPT-4V. Proyek ini bertujuan untuk mengklasifikasikan gambar dermoscopic sebagai melanoma atau jinak menggunakan beberapa teknik pembelajaran.

? Baca makalahnya

Persyaratan

1. panda
2. Pil
3. transformator
4. json
5. SCIPY
6. Openai
7. base64

Struktur repositori

 .
├── data                                 # Contains subdirectories for processed data
│   ├── all
│   ├── all_resized
│   ├── bn
│   ├── bn_resized
│   ├── bn_resized_label
│   ├── mm
│   ├── mm_resized
│   ├── mm_resized_label
│   └── selected_images.xlsx            # Image names
├── RAW                                 # Contains raw data downloaded from ISCI Archive
├── result                              # Results from running API_calling will be stored here as .json files
│   ├── 1_shot_v3.0_KNN
│   ├── 1_shot_v3.0_Random
│   └── ...
├── API_calling.py                       # Call OpenAI API for classification
├── data_labeling.py                     # Add label to the resized data
├── data_resizing.py                     # Resize the data with the original aspect ratio
├── data_selection.py                    # Select data from RAW
├── README.md                            
├── result_analysis.py                   # Compute stats for AI-generated content
├── result_visualization.ipynb           # Visualize the results
└── topK_finding.py                      # Find the top-k similar images to the query image

Data

Semua gambar dermoscopic diunduh dari ISIC Archive.

Penafian

Proyek ini hanya untuk tujuan penelitian akademik. Kode dalam repositori ini dirilis di bawah lisensi MIT. Jika Anda menggunakan data yang disediakan, silakan kutip arsip ISIC.

ICL dengan GPT4V

Alur kerja umum:

1. Unduh data mentah dari arsip ISIC
2. Pilih Data:
   • Jalankan python data_selection.py -[opsi]
3. Data proses:
   • Jalankan Python Data_ressizeing.py -[Opsi]
   • Jalankan python data_labeling.py -[opsi]
4. Hubungi API:
   • Jalankan python api_calling.py -[opsi]
5. Analisis respons AI:
   • Jalankan python result_analysis.py -[opsi]
6. Visualisasikan tanggapannya:
   • Jalankan python result_visualisasi.ipynb

Zero-shot vs beberapa-shot

GPT4V secara alami menggunakan aturan "ABCD" untuk klasifikasi gambar dermoscopic.

Pengetahuan domain tidak berlaku dengan benar dalam pembelajaran zero-shot:

Pengetahuan domain dengan benar digunakan dalam pembelajaran beberapa tembakan:

Pilih contoh referensi dengan knn

Gambar referensi dipetik secara acak untuk pembelajaran beberapa shot. Untuk menentukan apakah contoh yang lebih representatif akan membantu GPT4V membuat keputusan yang benar, kami mengadopsi kemiripan KNN untuk menemukan gambar serupa yang atas di setiap kategori yang berfungsi sebagai referensi.

Tes ablasi pada warna

Untuk menentukan bagaimana warna mempengaruhi hasil klasifikasi, kami melakukan tes ablasi pada warna.

Hasil

Beberapa pembelajaran show dengan mudah meningkatkan akurasi klasifikasi dari sekitar 50% ke level 75% dengan hanya 2 atau 3 contoh.

Anehnya, KNN tidak membantu dengan akurasi.
Kami mengeksplorasi berbagai kombinasi KNN dan pengambilan sampel acak yang diterapkan pada dua set referensi, menggunakan pembelajaran satu-shot dengan pengambilan sampel acak sebagai baseline kami untuk kesederhanaan

Sebagai pola penting yang digunakan dalam diagnosis kanker kulit, warna memiliki pengaruh yang signifikan terhadap hasil.