Dermoscopic Image ICL GPT4

ภาพการเรียนรู้ในบริบทของ Dermoscopic (ICL) พร้อม GPT4V

ที่เก็บนี้มีรหัสและข้อมูลสำหรับการดำเนินการเรียนรู้ในบริบท (ICL) บนภาพ dermoscopic โดยใช้ GPT-4V โครงการมีวัตถุประสงค์เพื่อจำแนกภาพ dermoscopic เป็น melanoma หรืออ่อนโยนโดยใช้เทคนิคการเรียนรู้ไม่กี่นัด

- อ่านกระดาษ

ความต้องการ

1. แพนด้า
2. ปิ
3. หม้อแปลงไฟฟ้า
4. JSON
5. คนขี้เกียจ
6. Openai
7. ฐาน 64

โครงสร้างที่เก็บ

 .
├── data                                 # Contains subdirectories for processed data
│   ├── all
│   ├── all_resized
│   ├── bn
│   ├── bn_resized
│   ├── bn_resized_label
│   ├── mm
│   ├── mm_resized
│   ├── mm_resized_label
│   └── selected_images.xlsx            # Image names
├── RAW                                 # Contains raw data downloaded from ISCI Archive
├── result                              # Results from running API_calling will be stored here as .json files
│   ├── 1_shot_v3.0_KNN
│   ├── 1_shot_v3.0_Random
│   └── ...
├── API_calling.py                       # Call OpenAI API for classification
├── data_labeling.py                     # Add label to the resized data
├── data_resizing.py                     # Resize the data with the original aspect ratio
├── data_selection.py                    # Select data from RAW
├── README.md                            
├── result_analysis.py                   # Compute stats for AI-generated content
├── result_visualization.ipynb           # Visualize the results
└── topK_finding.py                      # Find the top-k similar images to the query image

ข้อมูล

ภาพ dermoscopic ทั้งหมดจะถูกดาวน์โหลดจาก ISIC Archive

การปฏิเสธความรับผิดชอบ

โครงการนี้มีวัตถุประสงค์เพื่อการวิจัยเชิงวิชาการเท่านั้น รหัสในที่เก็บนี้จะถูกปล่อยภายใต้ใบอนุญาต MIT หากคุณใช้ข้อมูลที่ให้ไว้โปรดอ้างอิง ISIC Archive

ICL กับ GPT4V

เวิร์กโฟลว์ทั่วไป:

1. ดาวน์โหลดข้อมูลดิบจาก ISIC Archive
2. เลือกข้อมูล:
   • เรียกใช้ python data_selection.py -[ตัวเลือก]
3. ข้อมูลประมวลผล:
   • เรียกใช้ python data_resizeing.py -[ตัวเลือก]
   • เรียกใช้ python data_labeling.py -[ตัวเลือก]
4. โทร API:
   • เรียกใช้ python api_calling.py -[ตัวเลือก]
5. วิเคราะห์การตอบสนอง AI:
   • เรียกใช้ python result_analysis.py -[ตัวเลือก]
6. เห็นภาพการตอบสนอง:
   • เรียกใช้ python result_visualization.ipynb

zero-shot เทียบกับไม่กี่นัด

GPT4V ใช้กฎ "ABCD" ตามธรรมชาติสำหรับการจำแนกภาพ dermoscopic

ความรู้โดเมนไม่ได้ใช้อย่างถูกต้องในการเรียนรู้แบบศูนย์-ช็อต:

ความรู้โดเมนที่ใช้อย่างถูกต้องในการเรียนรู้ไม่กี่ครั้ง:

เลือกตัวอย่างอ้างอิงด้วย KNN

ภาพอ้างอิงถูกเลือกแบบสุ่มสำหรับการเรียนรู้ไม่กี่นัด เพื่อตรวจสอบว่าตัวอย่างที่เป็นตัวแทนเพิ่มเติมจะช่วยให้ GPT4V ทำการตัดสินใจที่ถูกต้องหรือไม่เราได้นำความคล้ายคลึงกันของ KNN มาใช้เพื่อค้นหาภาพที่คล้ายกัน K อันดับต้น ๆ ในแต่ละหมวดหมู่ที่ทำหน้าที่เป็นข้อมูลอ้างอิง

การทดสอบการระเหยด้วยสี

ในการพิจารณาว่าสีมีผลต่อผลการจำแนกประเภทอย่างไรเราทำการทดสอบการระเหยเกี่ยวกับสี

ผลลัพธ์

การเรียนรู้ไม่กี่ครั้งจะช่วยเพิ่มความแม่นยำในการจำแนกประเภทจากประมาณ 50% เป็นระดับ 75% โดยมีเพียง 2 หรือ 3 ตัวอย่าง

น่าแปลกที่ KNN ไม่ได้ช่วยความแม่นยำ
เราสำรวจชุดค่าผสมของ KNN และการสุ่มแบบสุ่มที่ใช้กับชุดอ้างอิงสองชุดโดยใช้การเรียนรู้แบบนัดเดียวกับการสุ่มตัวอย่างเป็นพื้นฐานของเราเพื่อความเรียบง่าย

ในฐานะที่เป็นรูปแบบที่สำคัญที่ใช้ในการวินิจฉัยโรคมะเร็งผิวหนังสีมีอิทธิพลอย่างมากต่อผลลัพธ์