l2p

Implémentation officielle de l'apprentissage continu basé sur un JAX basé sur une base

Cette base de code contient la mise en œuvre de deux méthodes d'apprentissage continu:

• Apprendre à provoquer un apprentissage continu (L2P) (CVPR2022) [Google AI Blog]
• DualProrompt: Invitation complémentaire pour l'apprentissage continu sans répétition (ECCV2022)

Introduction

L2P est une nouvelle technique d'apprentissage continu qui apprend à provoquer dynamiquement un modèle pré-formé pour apprendre les tâches séquentiellement sous différentes transitions de tâches. Différente des méthodes basées sur la répétition ou basées sur la répétition traditionnelles, L2P ne nécessite ni un tampon de répétition ni une identité de tâche à temps de test. L2P peut être généralisé à divers paramètres d'apprentissage continu, notamment le cadre d'agnostique les plus difficiles et les plus réalistes. L2P surpasse constamment les méthodes antérieures de pointe. Étonnamment, L2P obtient des résultats compétitifs contre les méthodes basées sur la répétition même sans tampon de répétition.

DualProrompt améliore le L2P en attachant des invites complémentaires à l'épine dorsale pré-formée, puis formule l'objectif comme des «instructions» invariantes de tâche et spécifiques à l'apprentissage. contestant le cadre de la classe-incité.

Le code est écrit par Zifeng Wang. Remerciement à https://github.com/google-research/nested-transformrer.

Ce n'est pas un produit Google officiellement pris en charge.

Novel CL Benchmark: Split ImageNet-R

Le benchmark Split ImageNet-R est construit sur ImageNet-R en divisant les 200 classes en 10 tâches avec 20 classes par tâche, voir libml / input_pipeline.py pour plus de détails. Nous pensons que le Split Imagenet-R est d'une grande importance pour la communauté d'apprentissage continue, pour les raisons suivantes:

• Split ImageNet-R contient des classes avec différents styles, ce qui est plus proche des problèmes complexes du monde réel.
• La diversité intra-classe significative pose un grand défi pour les méthodes basées sur la répétition pour fonctionner efficacement avec une petite taille de tampon, encourageant ainsi le développement de méthodes plus pratiques et sans répétition.
• Les modèles de vision pré-formés sont utiles dans l'apprentissage continu pratique. Cependant, leur ensemble de formation comprend généralement ImageNet. Ainsi, Split ImageNet-R sert de référence relative et difficile, et une alternative aux repères basés sur l'imaget pour un apprentissage continu qui utilise des modèles pré-formés.

Réimplémentation du pytorch

La base de code a été réimplémentée en pytorch par Jaeho Lee en L2P-Pytorch et DualPrompt-Pytorch.

Configuration de l'environnement

 pip install -r requirements.txt

Après cela, vous devrez peut-être ajuster votre version JAX en fonction de votre version CUDA Driver afin que JAX identifie correctement vos GPU (voir ce problème pour plus de détails).

Remarque: La base de code a été très testée sous l'environnement TPU en utilisant la nouvelle version JAX. Nous travaillons actuellement sur la vérification davantage de l'environnement GPU.

Préparation de l'ensemble de données

Avant d'exécuter des expériences pour 5 données et Core50, l'étape de préparation de données supplémentaire doit être effectuée comme suit:

1. Télécharger Core50 Classification Benchmark ICI: https://vlomonaco.github.io/core50/ et téléchargez Not-Mnist ici: http://yaroslavvb.com/upload/notmnist/
2. Transformez-les en formulaire compatible TFDS en suivant le tutoriel dans https://www.tensorflow.org/datasets/add_dataset
3. Remplacez les chemins de données correspondants "PATH_TO_CORE50" et "PATH_TO_NOT_MNIST" dans libml / input_pipeline.py par les chemins de destination à l'étape 2

Obtenir un modèle Vit pré-entraîné

Le modèle Vit-B / 16 utilisé dans cet article peut être téléchargé ici. Remarque: Notre base de code prend en charge différentes tailles de vites. Si vous souhaitez essayer des variations de VITS, n'hésitez pas à modifier la config.model_name dans les fichiers de configuration, en suivant les options valides définies dans modèles / vit.py.

Instructions sur l'exécution de L2P et DualPrompt

Nous fournissons le fichier de configuration pour former et évaluer L2P et DualPrompt sur plusieurs repères dans les configurations.

Pour exécuter L2P sur des ensembles de données de référence:

 python main.py --my_config configs/$L2P_CONFIG --workdir=./l2p --my_config.init_checkpoint=<ViT-saved-path/ViT-B_16.npz>

où $L2P_CONFIG peut être l'un des suivants: [cifar100_l2p.py, five_datasets_l2p.py, core50_l2p.py, cifar100_gaussian_l2p.py] .

Remarque: Nous exécutons nos expériences à l'aide de 8 GPU V100 ou 4 TPU, et nous spécifions une taille de lot par périphérique de 16 dans les fichiers de configuration. Cela indique que nous utilisons une taille totale de lots de 128.

Pour exécuter DualProrompt sur des ensembles de données de référence:

 python main.py --my_config configs/$DUALPROMPT_CONFIG --workdir=./dualprompt --my_config.init_checkpoint=<ViT-saved-path/ViT-B_16.npz>

où $DUALPROMPT_CONFIG peut être l'un des suivants: [imr_dualprompt.py, cifar100_dualprompt.py] .

Visualiser les résultats

Nous utilisons Tensorboard pour visualiser le résultat. Par exemple, si le répertoire de travail spécifié pour exécuter L2P est workdir=./cifar100_l2p , la commande pour vérifier le résultat est la suivante:

 tensorboard --logdir ./cifar100_l2p

Voici les mesures importantes à suivre et leurs significations correspondantes:

Métrique	Description
précision_n	Précision de la tâche du N-TH
oubli	Oublier moyen jusqu'à la tâche actuelle
avg_acc	Précision d'évaluation moyenne jusqu'à la tâche actuelle

Citer

 @inproceedings{wang2022learning,
  title={Learning to prompt for continual learning},
  author={Wang, Zifeng and Zhang, Zizhao and Lee, Chen-Yu and Zhang, Han and Sun, Ruoxi and Ren, Xiaoqi and Su, Guolong and Perot, Vincent and Dy, Jennifer and Pfister, Tomas},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={139--149},
  year={2022}
}

 @article{wang2022dualprompt,
  title={DualPrompt: Complementary Prompting for Rehearsal-free Continual Learning},
  author={Wang, Zifeng and Zhang, Zizhao and Ebrahimi, Sayna and Sun, Ruoxi and Zhang, Han and Lee, Chen-Yu and Ren, Xiaoqi and Su, Guolong and Perot, Vincent and Dy, Jennifer and others},
  journal={European Conference on Computer Vision},
  year={2022}
}