项目存储库：用各种方法的微调T5
概述
该存储库包含使用不同方法来微调T5模型的代码和笔记本。该项目的主要目标是：
- 实施并探索微调方法，例如软提示，适配器，LORA和从头开始进行完整的微调。
- 使用PEFT（及时工程微调），Opendelta和AdapterHub使用上述方法进行微调T5。
- 对每种微调方法的准确性和参数数量进行全面比较。
存储库结构
- 01_full finetune.ipynb ：jupyter笔记本本从头开始实现完整的微调方法。
- 02_soft提示。IPYNB ：使用软提示的Jupyter笔记本电脑实现微调。
- 03_ADAPTER.IPYNB ：使用适配器方法实现微调的Jupyter笔记本。
- 04_ADAPTERHUB.IPYNB ：使用AdapterHub进行jupyter笔记本微调T5。
- 05_lora.ipynb ：用lora方法实现jupyter笔记本。
- 402212503_Hosnaoyarhoseini_report.pdf ：报告文件提供实验的见解，分析和结果。
库
- Pytorch
- peft
- Opendelta
- AdapterHub
