FineTune_T5_on_imdb

Repositório do Projeto: T5 de ajuste fino com vários métodos

Visão geral

Este repositório contém código e notebooks para ajustar o modelo T5 usando métodos diferentes. Os principais objetivos deste projeto são:

1. Implemente e explore métodos de ajuste fino, como prompt Soft, adaptador, Lora e ajuste completo do zero.
2. T5 T5 com os métodos acima mencionados usando PEFT (pronta para engenharia fino), OpenDelta e AdapterHub.
3. Realize uma comparação abrangente da precisão e o número de parâmetros treinados para cada método de ajuste fino.

Estrutura do repositório

• 01_full FineTune.ipynb : Jupyter Notebook Implementando o método completo de ajuste fino do zero.
• 02_SOFT PORT.IPYNB : JUPYTER Notebook Implementando o ajuste fino usando o Soft Prompt.
• 03_ADAPTER.IPYNB : Jupyter Notebook Implementando o ajuste fino com o método adaptador.
• 04_ADAPTERHUB.IPYNB : JUPYTER Notebook T5 T5 usando o AdapterHub.
• 05_LORA.IPYNB : Jupyter Notebook Implementando o ajuste fino com o método Lora.
• 402212503_hosnaoyarhoseini_report.pdf : Arquivo de relatório que fornece informações, análise e resultados dos experimentos.

Bibliotecas

• Pytorch
• Peft
• OpenDelta
• AdapterHub