Dermoscopic Image ICL GPT4

Dermoscopic Image In-Context Learning (ICL) с GPT4V

Этот репозиторий содержит код и данные для выполнения встроенного обучения (ICL) на дермоскопических изображениях с использованием GPT-4V. Проект направлен на классификацию дермоскопических изображений как меланома или доброкачественные с использованием методов обучения с несколькими выстрелами.

? Прочитайте газету

Требования

1. Панды
2. Пилот
3. трансформатор
4. json
5. Scipy
6. Openai
7. База64

Структура репозитория

 .
├── data                                 # Contains subdirectories for processed data
│   ├── all
│   ├── all_resized
│   ├── bn
│   ├── bn_resized
│   ├── bn_resized_label
│   ├── mm
│   ├── mm_resized
│   ├── mm_resized_label
│   └── selected_images.xlsx            # Image names
├── RAW                                 # Contains raw data downloaded from ISCI Archive
├── result                              # Results from running API_calling will be stored here as .json files
│   ├── 1_shot_v3.0_KNN
│   ├── 1_shot_v3.0_Random
│   └── ...
├── API_calling.py                       # Call OpenAI API for classification
├── data_labeling.py                     # Add label to the resized data
├── data_resizing.py                     # Resize the data with the original aspect ratio
├── data_selection.py                    # Select data from RAW
├── README.md                            
├── result_analysis.py                   # Compute stats for AI-generated content
├── result_visualization.ipynb           # Visualize the results
└── topK_finding.py                      # Find the top-k similar images to the query image

Данные

Все дермоскопические изображения загружаются из Archive ISIC.

Отказ от ответственности

Этот проект предназначен только для целей академических исследований. Код в этом репозитории выпускается по лицензии MIT. Если вы используете предоставленные данные, пожалуйста, укажите архив ISIC.

ICL с GPT4V

Общий рабочий процесс:

1. Загрузите необработанные данные из Asic Archive
2. Выберите данные:
   • Запустите Python data_selection.py -[опции]
3. Данные процесса:
   • Запустите Python Data_Resizeing.py -[Параметры]
   • Запустите Python data_labeling.py -[опции]
4. Позвоните API:
   • Запустите Python api_calling.py -[опции]
5. Проанализируйте ответ искусственного интеллекта:
   • Запустите Python result_analysis.py -[опции]
6. Визуализируйте ответ:
   • Запустите python result_visualization.ipynb

Ноль-выстрел против нескольких выстрелов

GPT4V естественным образом использовал правило «ABCD» для декоскопической классификации изображений.

Знание домена не применялось правильно в обучении с нулевым выстрелом:

Знание домена правильно используется в нескольких выстрелах:

Выберите ссылки с KNN

Справочное изображение было выбрано случайным образом для нескольких выстрелов. Чтобы определить, помогут ли более репрезентативные примеры правильное решение GPT4V, мы приняли сходство KNN, чтобы найти топ -k аналогичные изображения в каждой категории, служащих в качестве ссылок.

Абляционный тест на цвет

Чтобы определить, как цвет влияет на результат классификации, мы провели тест на абляцию на цвете.

Результаты

Несколько выстрелов легко повышает точность классификации с примерно 50% до 75% -ного уровня с 2 или 3 примерами.

Удивительно, но KNN не помогла с точностью.
Мы исследовали различные комбинации KNN и случайной выборки, применяемые к двум эталонным наборам, используя один выстрел с помощью случайной выборки в качестве базовой линии для простоты

В качестве важной схемы, используемой при диагностике рака кожи, цвет оказывает значительное влияние на результаты.