Dermoscopic Image ICL GPT4

Imagen dermoscópica en el aprendizaje en contexto (ICL) con GPT4V

Este repositorio contiene código y datos para realizar el aprendizaje en contexto (ICL) en imágenes dermoscópicas utilizando GPT-4V. El proyecto tiene como objetivo clasificar las imágenes dermoscópicas como melanoma o benigno utilizando técnicas de aprendizaje de pocos disparos.

? Leer el periódico

Requisitos

1. pandas
2. Pilotear
3. transformador
4. json
5. bisagro
6. opadai
7. base64

Estructura de repositorio

 .
├── data                                 # Contains subdirectories for processed data
│   ├── all
│   ├── all_resized
│   ├── bn
│   ├── bn_resized
│   ├── bn_resized_label
│   ├── mm
│   ├── mm_resized
│   ├── mm_resized_label
│   └── selected_images.xlsx            # Image names
├── RAW                                 # Contains raw data downloaded from ISCI Archive
├── result                              # Results from running API_calling will be stored here as .json files
│   ├── 1_shot_v3.0_KNN
│   ├── 1_shot_v3.0_Random
│   └── ...
├── API_calling.py                       # Call OpenAI API for classification
├── data_labeling.py                     # Add label to the resized data
├── data_resizing.py                     # Resize the data with the original aspect ratio
├── data_selection.py                    # Select data from RAW
├── README.md                            
├── result_analysis.py                   # Compute stats for AI-generated content
├── result_visualization.ipynb           # Visualize the results
└── topK_finding.py                      # Find the top-k similar images to the query image

Datos

Todas las imágenes dermoscópicas se descargan del archivo ISIC.

Descargo de responsabilidad

Este proyecto es solo para fines de investigación académica. El código en este repositorio se publica bajo la licencia MIT. Si usa los datos proporcionados, cite el archivo ISIC.

ICL con GPT4V

Flujo de trabajo general:

1. Descargue los datos sin procesar del archivo ISIC
2. Seleccionar datos:
   • Ejecute python data_selection.py -[Opciones]
3. Datos de proceso:
   • Ejecute python data_resizeing.py -[Opciones]
   • Ejecute python data_labeling.py -[Opciones]
4. Llame a la API:
   • Ejecute python api_calling.py -[opciones]
5. Analizar la respuesta de IA:
   • Ejecute Python result_analys.py -[Opciones]
6. Visualice la respuesta:
   • Ejecutar Python result_visualization.ipynb

Cero-shot vs pocos disparos

GPT4V usó naturalmente la regla "ABCD" para la clasificación de imágenes dermoscópicas.

El conocimiento del dominio no se aplicó correctamente en el aprendizaje de disparo cero:

Conocimiento del dominio utilizado correctamente en el aprendizaje de pocos disparos:

Seleccione Ejemplos de referencia con KNN

La imagen de referencia fue elegida al azar para un aprendizaje de pocos disparos. Para determinar si los ejemplos más representativos ayudarían a GPT4V a tomar la decisión correcta, adoptamos la similitud KNN para encontrar las imágenes similares de K en cada categoría que sirven como referencias.

Prueba de ablación en color

Para determinar cómo el color afecta el resultado de la clasificación, realizamos una prueba de ablación en color.

Resultados

El aprendizaje de pocos show aumenta fácilmente la precisión de la clasificación de alrededor del 50% a un nivel del 75% con solo 2 o 3 ejemplos.

Sorprendentemente, el KNN no ayudó con la precisión.
Exploramos varias combinaciones de KNN y de muestreo aleatorio aplicado a los dos conjuntos de referencia, utilizando un aprendizaje único con muestreo aleatorio como nuestra línea de base para simplificar

Como un patrón importante utilizado en el diagnóstico de cáncer de piel, el color tiene una influencia significativa en los resultados.