FineTune_T5_on_imdb

Repositorio de proyectos: ajuste T5 con varios métodos

Descripción general

Este repositorio contiene código y cuadernos para ajustar el modelo T5 utilizando diferentes métodos. Los objetivos principales de este proyecto son:

1. Implementar y explorar métodos de ajuste fino como indicador suave, adaptador, lora y ajuste completo desde cero.
2. Tune T5 con los métodos antes mencionados utilizando PEFT (ingeniería rápida de ajuste fino), Opendelta y Adapterhub.
3. Realice una comparación completa de la precisión y el número de parámetros entrenados para cada método de ajuste fino.

Estructura de repositorio

• 01_full Finetune.ipynb : Notebook Jupyter Implementación del método completo de ajuste fino desde cero.
• 02_SOFT Strem.ipynb : Jupyter Notebook Implementación de ajuste fino usando Soft Actual.
• 03_adapter.ipynb : Notebook Jupyter Implementación de ajuste fino con el método adaptador.
• 04_adapterhub.ipynb : Jupyter cuaderno ajustado T5 usando Adapterhub.
• 05_lora.ipynb : Notebook Jupyter Implementación de ajuste fino con el método Lora.
• 402212503_hosnaoyarhoseini_report.pdf : Informe Archivo que proporciona información, análisis y resultados de los experimentos.

Bibliotecas

• Pytorch
• Peft
• Opendelta
• Adaptador