FineTune_T5_on_imdb

プロジェクトリポジトリ：さまざまな方法でT5を微調整します

概要

このリポジトリには、さまざまな方法を使用してT5モデルを微調整するためのコードとノートブックが含まれています。このプロジェクトの主な目的は次のとおりです。

1. ソフトプロンプト、アダプター、ロラ、完全な微調整などの微調整方法をゼロから実装および探索します。
2. PEFT（プロンプトエンジニアリング微調整）、Opendelta、およびAdapterhubを使用した前述のメソッドでT5を微調整します。
3. 各微調整方法でトレーニングされた精度とパラメーターの数の包括的な比較を実施します。

リポジトリ構造

• 01_FULL FINETUNE.IPYNB ：JUPYTERノートブックは、完全な微調整方法をゼロから実装しています。
• 02_SOFT PROMPT.IPYNB ：JUPYTERノートブックソフトプロンプトを使用して微調整を実装します。
• 03_adapter.ipynb ：Jupyterノートブックアダプターメソッドを使用した微調整を実装します。
• 04_adapterhub.ipynb ：JupyterノートブックAdapterhubを使用してT5を微調整します。
• 05_lora.ipynb ：JupyterノートブックLORAメソッドで微調整を実装します。
• 402212503_HOSNAOYARHOSEINI_REPORT.pdf ：実験の洞察、分析、および結果を提供するレポートファイル。

ライブラリ

• Pytorch
• peft
• Opendelta
• Adapterhub