Référentiel de projets: affineur T5 avec diverses méthodes
Aperçu
Ce référentiel contient du code et des cahiers pour affiner le modèle T5 à l'aide de différentes méthodes. Les principaux objectifs de ce projet sont:
- Implémentez et explorez des méthodes de réglage fin telles que l'invite douce, l'adaptateur, la LORA et le réglage fin complet à partir de zéro.
- Affiner T5 avec les méthodes susmentionnées à l'aide de PEFT (ingénierie rapide du réglage fin), Opendelta et AdapterHub.
- Effectuer une comparaison complète de la précision et le nombre de paramètres formés pour chaque méthode de réglage fin.
Structure de référentiel
- 01_full finetune.ipynb : cahier Jupyter implémentant la méthode de réglage fin complète à partir de zéro.
- 02_soft invite.ipynb : cahier Jupyter Implémentation de tun fin à l'aide de l'invite Soft.
- 03)
- 04_AdapterHub.ipynb : Jupyter Notebook Fine-tuning T5 Utilisation d'adapterHub.
- 05_lora.ipynb : cahier Jupyter Implémentation d'un réglage fin avec la méthode LORA.
- 402212503_hosnaoyarhoseini_report.pdf : le fichier de rapport fournissant des informations, l'analyse et les résultats des expériences.
Bibliothèques
- Pytorch
- Pivot
- Opendelta
- Adaptor
