프로젝트 저장소 : 다양한 방법으로 미세 조정 T5
개요
이 저장소에는 다른 방법을 사용하여 T5 모델을 미세 조정하기위한 코드 및 노트북이 포함되어 있습니다. 이 프로젝트의 주요 목표는 다음과 같습니다.
- 소프트 프롬프트, 어댑터, LORA 및 전체 미세 조정과 같은 미세 조정 방법을 구현하고 탐색하십시오.
- PEFT (프롬프트 엔지니어링 미세 조정), Opendelta 및 AdapterHub를 사용하여 앞서 언급 한 방법으로 T5를 미세 조정하십시오.
- 정확도와 각각의 미세 조정 방법에 대해 훈련 된 매개 변수 수를 포괄적으로 비교하십시오.
저장소 구조
- 01_full finetune.ipynb : Jupyter 노트북은 처음부터 전체 미세 조정 방법을 구현합니다.
- 02_soft promp.ipynb : 소프트 프롬프트를 사용하여 미세 조정을 구현하는 Jupyter 노트북.
- 03_adapter.ipynb : 어댑터 방법으로 미세 조정을 구현하는 Jupyter 노트북.
- 04_adapterhub.ipynb : adapterhub를 사용하는 Jupyter 노트북 미세 조정 T5.
- 05_lora.ipynb : LORA 방법으로 미세 조정을 구현하는 Jupyter 노트북.
- 402212503_hosnaoyarhoseini_report.pdf : 실험의 통찰력, 분석 및 결과를 제공하는 보고서 파일.
도서관
- Pytorch
- PEFT
- Opendelta
- Adapterhub
