Repositori Proyek: Menyempurnakan T5 dengan berbagai metode
Ringkasan
Repositori ini berisi kode dan buku catatan untuk menyempurnakan model T5 menggunakan metode yang berbeda. Tujuan utama dari proyek ini adalah:
- Menerapkan dan mengeksplorasi metode penyempurnaan seperti soft prompt, adaptor, lora, dan fine-tuning penuh dari awal.
- Fine-tune T5 dengan metode yang disebutkan di atas menggunakan PEFT (tuning rekayasa cepat), Opendelta, dan AdapterHub.
- Lakukan perbandingan akurasi yang komprehensif dan jumlah parameter yang dilatih untuk setiap metode penyempurnaan.
Struktur repositori
- 01_full finetune.ipynb : Jupyter notebook menerapkan metode fine-tuning penuh dari awal.
- 02_soft prompt.ipynb : Jupyter notebook menerapkan fine-tuning menggunakan soft prompt.
- 03_Adapter.ipynb : Jupyter Notebook Menerapkan fine-tuning dengan metode adaptor.
- 04_Adapterhub.ipynb : Jupyter notebook fine-tuning T5 Menggunakan AdapterHub.
- 05_lora.ipynb : Jupyter notebook menerapkan fine-tuning dengan metode lora.
- 402212503_hosnaoyarhoseini_report.pdf : Laporan file yang memberikan wawasan, analisis, dan hasil percobaan.
Perpustakaan
- Pytorch
- Peft
- Opendelta
- AdapterHub
