l2p

การใช้งาน JAX อย่างเป็นทางการอย่างต่อเนื่อง

codebase นี้มีการใช้วิธีการเรียนรู้อย่างต่อเนื่องสองวิธี:

• เรียนรู้ที่จะแจ้งให้ทราบอย่างต่อเนื่อง (L2P) (CVPR2022) [Google AI Blog]
• DualPrompt: การกระตุ้นเสริมสำหรับการเรียนรู้อย่างต่อเนื่องแบบซ้อมอย่างต่อเนื่อง (ECCV2022)

การแนะนำ

L2P เป็นเทคนิคการเรียนรู้อย่างต่อเนื่องที่แปลกใหม่ซึ่งเรียนรู้ที่จะกระตุ้นให้แบบจำลองที่ผ่านการฝึกอบรมมาก่อนเพื่อเรียนรู้งานตามลำดับภายใต้การเปลี่ยนงานที่แตกต่างกัน แตกต่างจากวิธีการฝึกซ้อมหลักหรือวิธีการอิงตามสถาปัตยกรรม L2P ไม่จำเป็นต้องใช้บัฟเฟอร์การฝึกซ้อมหรือเอกลักษณ์เวลาทดสอบ L2P สามารถนำไปใช้กับการตั้งค่าการเรียนรู้อย่างต่อเนื่องที่หลากหลายรวมถึงการตั้งค่างานที่ท้าทายและเป็นจริงที่สุด L2P มีประสิทธิภาพสูงกว่าวิธีการที่ทันสมัยก่อนหน้านี้ น่าแปลกที่ L2P บรรลุผลการแข่งขันกับวิธีการซ้อมแม้ว่าจะไม่มีบัฟเฟอร์การซ้อม

DualPrompt ปรับปรุง L2P โดยการแนบพรอมต์เสริมไปยังกระดูกสันหลังที่ผ่านการฝึกอบรมมาก่อนแล้วกำหนดวัตถุประสงค์ว่าเป็นการเรียนรู้ที่ไม่ได้รับการเปลี่ยนแปลงและงานเฉพาะ“ คำแนะนำ” ด้วยการตรวจสอบการทดลองอย่างกว้างขวาง DualPrompt อย่างต่อเนื่อง โดยเฉพาะอย่างยิ่งการตั้งค่าในชั้นเรียนที่ท้าทาย

รหัสเขียนโดย Zifeng Wang รับทราบถึง https://github.com/google-research/nested-transformer

นี่ไม่ใช่ผลิตภัณฑ์ Google ที่ได้รับการสนับสนุนอย่างเป็นทางการ

Novel CL Benchmark: Split Imagenet-R

เกณฑ์มาตรฐาน Imagenet-R แยกถูกสร้างขึ้นบน ImageNet-R โดยการหาร 200 คลาสออกเป็น 10 งานที่มี 20 คลาสต่องานดู libml/input_pipeline.py สำหรับรายละเอียด เราเชื่อว่าการแยก Imagenet-R มีความสำคัญอย่างยิ่งต่อชุมชนการเรียนรู้อย่างต่อเนื่องด้วยเหตุผลดังต่อไปนี้:

• Split Imagenet-R มีคลาสที่มีสไตล์ที่แตกต่างกันซึ่งใกล้เคียงกับปัญหาในโลกแห่งความจริงที่ซับซ้อน
• ความหลากหลายภายในชั้นเรียนที่สำคัญทำให้เกิดความท้าทายที่ยิ่งใหญ่สำหรับวิธีการซ้อมเพื่อทำงานอย่างมีประสิทธิภาพด้วยขนาดบัฟเฟอร์ขนาดเล็กจึงส่งเสริมการพัฒนาวิธีการที่ใช้งานได้จริงและปราศจากการฝึกซ้อมมากขึ้น
• แบบจำลองการมองเห็นที่ผ่านการฝึกอบรมมาก่อนมีประโยชน์ในการเรียนรู้อย่างต่อเนื่องในทางปฏิบัติ อย่างไรก็ตามชุดการฝึกอบรมของพวกเขามักจะรวมถึง Imagenet ดังนั้นการแยก Imagenet-R ทำหน้าที่เป็นเกณฑ์มาตรฐานที่ยุติธรรมและท้าทายและเป็นทางเลือกในการวัดประสิทธิภาพตาม Imagenet สำหรับการเรียนรู้อย่างต่อเนื่องที่ใช้แบบจำลองที่ผ่านการฝึกอบรมมาก่อน

การพิจารณาใหม่ของ Pytorch

Codebase ได้รับการปรับปรุงใหม่ใน Pytorch โดย Jaeho Lee ใน L2P-Pytorch และ DualPrompt-Pytorch

การตั้งค่าสภาพแวดล้อม

 pip install -r requirements.txt

หลังจากนี้คุณอาจต้องปรับรุ่น JAX ของคุณตามรุ่นไดรเวอร์ CUDA ของคุณเพื่อให้ JAX ระบุ GPU ของคุณได้อย่างถูกต้อง (ดูปัญหานี้สำหรับรายละเอียดเพิ่มเติม)

หมายเหตุ: Codebase ได้รับการทดสอบผ่านทางสภาพแวดล้อม TPU โดยใช้เวอร์ชัน JAX รุ่นใหม่ล่าสุด ขณะนี้เรากำลังดำเนินการตรวจสอบสภาพแวดล้อม GPU เพิ่มเติม

การเตรียมชุดข้อมูล

ก่อนที่จะทำการทดลองสำหรับ 5-Datasets และ Core50 ขั้นตอนการเตรียมชุดข้อมูลเพิ่มเติมควรดำเนินการดังนี้:

1. ดาวน์โหลดมาตรฐานการจำแนกประเภท CORE50 ที่นี่: https://vlomonaco.github.io/core50/ และดาวน์โหลดไม่ใช่ mnist ที่นี่: http://yaroslavvb.com/upload/notmnist/
2. แปลงเป็นรูปแบบที่เข้ากันได้กับ TFDS หลังจากการสอนใน https://www.tensorflow.org/datasets/add_dataset
3. แทนที่พา ธ ชุดข้อมูลที่สอดคล้องกัน "PATH_TO_CORE50" และ "PATH_TO_NOT_MNIST" ใน libml/input_pipeline.py โดยเส้นทางปลายทางในขั้นตอนที่ 2

รับแบบจำลอง VIT ที่ได้รับการฝึกฝนมาก่อน

รุ่น VIT-B/16 ที่ใช้ในบทความนี้สามารถดาวน์โหลดได้ที่นี่ หมายเหตุ: Codebase ของเรารองรับ VITS ขนาดต่าง ๆ หากคุณต้องการลองใช้ VITS VITS โปรดเปลี่ยน config.model_name ในไฟล์ config ตามตัวเลือกที่ถูกต้องที่กำหนดไว้ในรุ่น/vit.py

คำแนะนำเกี่ยวกับการรัน L2P และ DualPrompt

เราให้ไฟล์การกำหนดค่าเพื่อฝึกอบรมและประเมิน L2P และ DualPrompt บนเกณฑ์มาตรฐานหลายแบบในการกำหนดค่า

ในการเรียกใช้ L2P บนชุดข้อมูลมาตรฐาน:

 python main.py --my_config configs/$L2P_CONFIG --workdir=./l2p --my_config.init_checkpoint=<ViT-saved-path/ViT-B_16.npz>

โดยที่ $L2P_CONFIG สามารถเป็นหนึ่งในดังต่อไปนี้: [cifar100_l2p.py, five_datasets_l2p.py, core50_l2p.py, cifar100_gaussian_l2p.py]

หมายเหตุ: เราเรียกใช้การทดลองของเราโดยใช้ 8 V100 GPU หรือ 4 TPUs และเราระบุขนาดแบทช์ต่ออุปกรณ์ 16 ตัวในไฟล์ config สิ่งนี้บ่งชี้ว่าเราใช้ขนาดแบทช์ทั้งหมด 128

ในการเรียกใช้ DualPrompt บนชุดข้อมูลมาตรฐาน:

 python main.py --my_config configs/$DUALPROMPT_CONFIG --workdir=./dualprompt --my_config.init_checkpoint=<ViT-saved-path/ViT-B_16.npz>

โดยที่ $DUALPROMPT_CONFIG สามารถเป็นหนึ่งในต่อไปนี้: [imr_dualprompt.py, cifar100_dualprompt.py]

แสดงภาพผลลัพธ์

เราใช้ Tensorboard เพื่อให้เห็นภาพผลลัพธ์ ตัวอย่างเช่นหากไดเรกทอรีการทำงานที่ระบุเพื่อเรียกใช้ L2P คือ workdir=./cifar100_l2p คำสั่งเพื่อตรวจสอบผลลัพธ์มีดังนี้:

 tensorboard --logdir ./cifar100_l2p

นี่คือตัวชี้วัดที่สำคัญในการติดตามและความหมายที่สอดคล้องกันของพวกเขา:

ตัวชี้วัด	คำอธิบาย
ความแม่นยำ _n	ความถูกต้องของงาน n-th
การลืม	เฉลี่ยลืมไปจนถึงงานปัจจุบัน
avg_acc	ความแม่นยำในการประเมินค่าเฉลี่ยจนถึงงานปัจจุบัน

อ้างถึง

 @inproceedings{wang2022learning,
  title={Learning to prompt for continual learning},
  author={Wang, Zifeng and Zhang, Zizhao and Lee, Chen-Yu and Zhang, Han and Sun, Ruoxi and Ren, Xiaoqi and Su, Guolong and Perot, Vincent and Dy, Jennifer and Pfister, Tomas},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={139--149},
  year={2022}
}

 @article{wang2022dualprompt,
  title={DualPrompt: Complementary Prompting for Rehearsal-free Continual Learning},
  author={Wang, Zifeng and Zhang, Zizhao and Ebrahimi, Sayna and Sun, Ruoxi and Zhang, Han and Lee, Chen-Yu and Ren, Xiaoqi and Su, Guolong and Perot, Vincent and Dy, Jennifer and others},
  journal={European Conference on Computer Vision},
  year={2022}
}