Dermoscopic Image ICL GPT4

التعلم في السياق في السياق (ICL) مع GPT4V

يحتوي هذا المستودع على رمز وبيانات لأداء التعلم داخل السياق (ICL) على الصور التنظيرية باستخدام GPT-4V. يهدف المشروع إلى تصنيف الصور التنظيرية الجلدية على أنها سرطان الجلد أو حميدة باستخدام تقنيات التعلم القليلة.

؟ اقرأ الورقة

متطلبات

1. الباندا
2. بيل
3. محول
4. جيسون
5. سكيبي
6. Openai
7. BASE64

هيكل المستودع

 .
├── data                                 # Contains subdirectories for processed data
│   ├── all
│   ├── all_resized
│   ├── bn
│   ├── bn_resized
│   ├── bn_resized_label
│   ├── mm
│   ├── mm_resized
│   ├── mm_resized_label
│   └── selected_images.xlsx            # Image names
├── RAW                                 # Contains raw data downloaded from ISCI Archive
├── result                              # Results from running API_calling will be stored here as .json files
│   ├── 1_shot_v3.0_KNN
│   ├── 1_shot_v3.0_Random
│   └── ...
├── API_calling.py                       # Call OpenAI API for classification
├── data_labeling.py                     # Add label to the resized data
├── data_resizing.py                     # Resize the data with the original aspect ratio
├── data_selection.py                    # Select data from RAW
├── README.md                            
├── result_analysis.py                   # Compute stats for AI-generated content
├── result_visualization.ipynb           # Visualize the results
└── topK_finding.py                      # Find the top-k similar images to the query image

بيانات

يتم تنزيل جميع الصور التنظيرية من أرشيف ISIC.

تنصل

هذا المشروع هو لأغراض البحث الأكاديمي فقط. يتم إصدار الرمز في هذا المستودع تحت رخصة معهد ماساتشوستس للتكنولوجيا. إذا كنت تستخدم البيانات المقدمة ، فيرجى الاستشهاد بأرشيف ISIC.

ICL مع GPT4V

سير العمل العام:

1. قم بتنزيل البيانات الخام من أرشيف ISIC
2. حدد البيانات:
   • قم بتشغيل Python data_selection.py -[خيارات]
3. بيانات العملية:
   • قم بتشغيل Python Data_resizeing.py -[خيارات]
   • قم بتشغيل Python data_labeling.py -[خيارات]
4. استدعاء API:
   • قم بتشغيل Python API_Calling.py -[خيارات]
5. تحليل استجابة الذكاء الاصطناعي:
   • تشغيل Python Result_analysis.py -[خيارات]
6. تصور الاستجابة:
   • تشغيل python result_visualization.ipynb

صفر لقطة مقابل قليلة

استخدم GPT4V بشكل طبيعي قاعدة "ABCD" لتصنيف الصورة الجلدية.

لم تنطبق معرفة المجال بشكل صحيح في التعلم الصفري:

معرفة المجال المستخدمة بشكل صحيح في تعلم القليل من اللقطة:

حدد أمثلة مرجعية مع KNN

تم اختيار الصورة المرجعية بشكل عشوائي لتعلم القليل من اللقطة. لتحديد ما إذا كانت أمثلة أكثر تمثيلا من شأنها أن تساعد GPT4V في اتخاذ القرار الصحيح ، اعتمدنا تشابه KNN للعثور على أفضل صور مماثلة في كل فئة تعمل كمراجع.

اختبار الاجتثاث على اللون

لتحديد كيفية تأثير اللون على نتيجة التصنيف ، أجرينا اختبار الاجتثاث على اللون.

نتائج

يعزز التعلم القليل من العرض بسهولة دقة التصنيف من حوالي 50 ٪ إلى مستوى 75 ٪ مع 2 أو 3 أمثلة فقط.

والمثير للدهشة أن KNN لم يساعد في الدقة.
لقد استكشفنا مجموعات مختلفة من KNN وأخذ العينات العشوائية المطبقة على مجموعتي المرجعية ، باستخدام التعلم لقطة واحدة مع أخذ عينات عشوائية كخط الأساس لدينا للبساطة

كنمط مهم يستخدم في تشخيص سرطان الجلد ، له تأثير كبير على النتائج.