Projektrepository: Feinabstimmung T5 mit verschiedenen Methoden
Überblick
Dieses Repository enthält Code und Notizbücher zur Feinabstimmung des T5-Modells mit verschiedenen Methoden. Die Hauptziele dieses Projekts sind:
- Implementieren und erkunden Sie Fine-Tuning-Methoden wie weiche Eingabeaufforderung, Adapter, Lora und vollständige Feinabstimmung von Grund auf neu.
- Feinabstimmung T5 mit den oben genannten Methoden mit PEFT (prompt Engineering Fine-Tuning), Opendelta und AdapterHub.
- Führen Sie einen umfassenden Vergleich der Genauigkeit und der Anzahl der für jede Feinabstimmungsmethode ausgebildeten Parameter durch.
Repository -Struktur
- 01_full finetune.ipynb : Jupyter Notebook implementiert die vollständige Feinabstimmungsmethode von Grund auf neu.
- 02_soft prompt.ipynb : Jupyter Notebook implementiert Feinabstimmung mit der Soft-Eingabeaufforderung.
- 03_ADAPTER.IPYNB : JUPYTER-Notizbuch implementiert Feinabstimmung mit Adaptermethode.
- 04_ADAPTERHUB.IPYNB : Jupyter Notebook Feinabstimmung T5 mit AdapterHub.
- 05_lora.ipynb : Jupyter Notebook implementiert Feinabstimmung mit LORA-Methode.
- 402212503_HosnaoyarhoseIni_Report.pdf : Berichtsdatei Bereitstellung von Erkenntnissen, Analysen und Ergebnissen der Experimente.
Bibliotheken
- Pytorch
- Peft
- Opendelta
- AdapterHub
