Dermoscopic Image ICL GPT4

Imagem DermoSoscópica no Contexto Aprendizagem (ICL) com GPT4V

Este repositório contém código e dados para executar o aprendizado no contexto (ICL) em imagens dermoscópicas usando o GPT-4V. O projeto tem como objetivo classificar imagens dermoscópicas como melanoma ou benigno usando técnicas de aprendizado de poucas fotos.

? Leia o artigo

Requisitos

1. Pandas
2. Pil
3. transformador
4. JSON
5. Scipy
6. Openai
7. base64

Estrutura do repositório

 .
├── data                                 # Contains subdirectories for processed data
│   ├── all
│   ├── all_resized
│   ├── bn
│   ├── bn_resized
│   ├── bn_resized_label
│   ├── mm
│   ├── mm_resized
│   ├── mm_resized_label
│   └── selected_images.xlsx            # Image names
├── RAW                                 # Contains raw data downloaded from ISCI Archive
├── result                              # Results from running API_calling will be stored here as .json files
│   ├── 1_shot_v3.0_KNN
│   ├── 1_shot_v3.0_Random
│   └── ...
├── API_calling.py                       # Call OpenAI API for classification
├── data_labeling.py                     # Add label to the resized data
├── data_resizing.py                     # Resize the data with the original aspect ratio
├── data_selection.py                    # Select data from RAW
├── README.md                            
├── result_analysis.py                   # Compute stats for AI-generated content
├── result_visualization.ipynb           # Visualize the results
└── topK_finding.py                      # Find the top-k similar images to the query image

Dados

Todas as imagens dermoscópicas são baixadas do Arquivo ISIC.

Isenção de responsabilidade

Este projeto é apenas para fins de pesquisa acadêmica. O código deste repositório é liberado sob a licença do MIT. Se você usar os dados fornecidos, cite o arquivo ISIC.

ICL com GPT4V

Fluxo de trabalho geral:

1. Baixe os dados brutos do Arquivo ISIC
2. Selecione dados:
   • Run Python data_selection.py -[Opções]
3. Dados do processo:
   • Run Python Data_Resizeing.py -[Opções]
   • Execute o Python data_labeling.py -[Opções]
4. Ligue para a API:
   • Run Python API_CALLING.PY -[Opções]
5. Analise a resposta da IA:
   • Execute python result_analysis.py -[Opções]
6. Visualize a resposta:
   • Execute python result_visualization.ipynb

Zero-shot vs Few-shot

O GPT4V usou naturalmente a regra "ABCD" para a classificação de imagem dermmocópica.

O conhecimento do domínio não se aplicou corretamente no aprendizado de tiro zero:

Conhecimento de domínio usado corretamente no aprendizado de poucos tiros:

Selecione exemplos de referência com KNN

A imagem de referência foi escolhida aleatoriamente para aprendizado de poucos anos. Para determinar se exemplos mais representativos ajudariam o GPT4V a tomar a decisão correta, adotamos a similaridade do KNN para encontrar as principais imagens semelhantes em cada categoria que servem como referências.

Teste de ablação na cor

Para determinar como a cor afeta o resultado da classificação, realizamos um teste de ablação na cor.

Resultados

O aprendizado de poucos shows aumenta facilmente a precisão da classificação de cerca de 50% para um nível de 75%, com apenas 2 ou 3 exemplos.

Surpreendentemente, o KNN não ajudou na precisão.
Exploramos várias combinações de KNN e amostragem aleatória aplicada aos dois conjuntos de referência, usando aprendizado de um tiro com amostragem aleatória como linha de base para simplicidade

Como um padrão importante usado no diagnóstico de câncer de pele, a cor tem uma influência significativa nos resultados.