項目存儲庫：用各種方法的微調T5
概述
該存儲庫包含使用不同方法來微調T5模型的代碼和筆記本。該項目的主要目標是：
- 實施並探索微調方法，例如軟提示，適配器，LORA和從頭開始進行完整的微調。
- 使用PEFT（及時工程微調），Opendelta和AdapterHub使用上述方法進行微調T5。
- 對每種微調方法的準確性和參數數量進行全面比較。
存儲庫結構
- 01_full finetune.ipynb ：jupyter筆記本本從頭開始實現完整的微調方法。
- 02_soft提示。 IPYNB ：使用軟提示的Jupyter筆記本電腦實現微調。
- 03_ADAPTER.IPYNB ：使用適配器方法實現微調的Jupyter筆記本。
- 04_ADAPTERHUB.IPYNB ：使用AdapterHub進行jupyter筆記本微調T5。
- 05_lora.ipynb ：用lora方法實現jupyter筆記本。
- 402212503_Hosnaoyarhoseini_report.pdf ：報告文件提供實驗的見解，分析和結果。
庫
- Pytorch
- peft
- Opendelta
- AdapterHub
