t2t tuner

T2T-Tuner

トランス向けのテキストからテキストへの便利なトレーニング

pip install t2t-tuner

Pytorchが必要です。Pytorchのインストール手順に従うか、Pytorchコンテナを使用します。

特徴

• テキストからテキスト（およびテキスト生成）タスクの簡単なトレーニング
• トレーニング方法/機能：
  • 監視された微調整
  • 勾配チェックポイント
  • モデルの並列性
  • ソフトプロンプトチューニング（この論文に基づく）
  • エンコーダー/デコーダー/埋め込みをフリーズします
  • 埋め込みをCPUに移動します
  • 印刷モデルの概要
  • ディープスピード

Wonderful Huggingface Transformers Libraryに基づいています。 T5およびGPTタイプのモデルでテストされました。理論的には、AutomodElforseq2SeqlmまたはAutomodelforcausallmをサポートする他のモデルと連携する必要があります。

ここのこのライブラリのトレーナーは、テキストからテキストの生成タスクのHuggingfaceのrun_translation.pyスクリプトに基づいて、より高いレベルのインターフェイスです。勾配チェックポイントやモデルの並行してより大きなモデルに合わせてアクセスするとともに、トレーニングと推測のために、より便利なインターフェイスが必要になりたいと思いました。これらはすでにハグFaceライブラリにありますが、スクリプトには公開されていません。また、私が望んでいたいくつかの機能（プロンプトチューニング、モデルの概要）を追加し、それをオートレーフレフなLMトレーニングと統合し、PIPインストールできる単一のライブラリとしてラップしました。

例

トレーニングモデル

 import t2t

trainer_arguments = t2t . TrainerArguments ( model_name_or_path = "t5-small" ,
                                         train_file = YOUR_DATASET )

trainer = t2t . Trainer ( arguments = trainer_arguments )

# train without validation
trainer . train ( valid = False )

より具体的な例については、以下にリンクしたノートブックをご覧ください。

• 簡単な例
• Colabの簡単な例
• ソフトプロンプトチューニング
• 勾配チェックポイント
• モデルの並列性

データ形式

seq2seqトレーニング

{ "translation" : { "s" : " TEXT " , "t" : " LABEL " }}

• データの形式は、Huggingface Original Scriptに続くJSON-Linesです。各例は1行です。
• TrainingArguments.source_idおよびTrainingArguments.target_id （デフォルトはsとt ）のソースとターゲットIDを定義します。
• データファイルにプレフィックスを含めるか、 TrainingArguments.prefixのテキストにプレップするプレフィックスを定義します。
• CSVファイルからのデータ前処理のための例のノートブック

オートレーフレフLMトレーニング

• テキストファイルは機能します

大きなモデルのトレーニング

このセクションでは、比較的単純なセットアップで大規模な言語モデル（> 1 BILパラメーター）をトレーニングする方法の概要を説明します。

以下に報告された構成に関するいくつかのメモ：

• GradCheckpoint：VRAMの使用量を減らすためのグラデーションチェックポイントですが、計算を増やします（Set TrainerArguments.gradient_checkpointing ）。
• フリーズベッド：VRAMの使用と計算を減らすために、フリーズ（トレーニングしない）埋め込み層（Set trainer.freeze(embeddings=True) ）。
• AdaFactorはAdamよりもVRAMを使用しませんが、わずかに遅く、わずかに異なる収束をする可能性があります。
• Gradient Accumulation（ TrainingArguments.gradient_accumulation_steps ）を使用して、必要に応じて大きなバッチサイズまで補うことができます。報告されているバッチサイズは、勾配蓄積なしです。
• 埋め込みをCPUに移動すると、VRAMの使用とパフォーマンスの両方にほとんど影響がないようであるため、使用されません。

GPTモデル

単一のRTX 3090（24GB）カード（ディープスピードなし）でトレーニングできるようにテストされたいくつかのGPT構成：

モデル	パラメージ	精度	オプティマイザ	inputlen	バッチサイズ	他の
GPT2	1.5b	FP16	AdaFactor	128	4	なし
GPT2	1.5b	FP16	AdaFactor	512	1	なし
GPT2	1.5b	FP16	AdaFactor	1024	4	GradCheckpoint
gpt-neo	1.3b	FP16	AdaFactor	1024	1	なし
gpt-neo	1.3b	FP16	AdaFactor	2048	4	GradCheckpoint
gpt-neo	2.7b	FP16	AdaFactor	2048	4	GradCheckpoint、凍結式

T5モデル

単一のRTX 3090（24GB）カード（ディープスピードなし）でトレーニングできるようにテストされたいくつかのT5構成：

モデル	パラメージ	精度	オプティマイザ	seq2seqlen	バッチサイズ	他の
T5	3b	FP32	AdaFactor	128-> 128	1	フリーズベッド
T5	3b	FP32	AdaFactor	128-> 128	1	GradCheckpoint
T5	3b	FP32	AdaFactor	128-> 128	128	GradCheckpoint、凍結式
T5	3b	FP32	AdaFactor	512-> 512	32	GradCheckpoint、凍結式

T5-11Bモデルのモデル並列性

このライブラリを使用すると、T5-11Bチェックポイントを次の設定（DeepSpeedなし）で非常に簡単に（単一ノード）微調整することもできます。

• 推奨チェックポイント：T5-11B
• バッチサイズ1 +グラデーションの蓄積が必要なバッチサイズを補う。
• グラデーションチェックポイントでは8のバッチサイズが可能ですが、速度は向上しません。
• 複数のGPUにわたって平行モデル：
  • 少なくとも約90 GBのVRAM
  • 例：8x 16GBまたは4X 32GB GPU（V100）、または2x 48GB（RTX8000/A6000）
• fp32（混合精度/fp16の必要はありません）
  • FP16は実際には優れていますが、前提条件のT5チェックポイントはFP16でうまく機能しません。
  • アンペアカード（RTX30XX、A100、A6000）では、TF32が使用されます。これはFP32よりも速く、FP16と同じ問題に悩まされていません。
  • 理由：既存のアクティベーションが大きすぎる（Githubの問題追跡、さらに情報）

システムによっては、チェックポイント（46GB）の読み込み時間は非常に長くなる可能性があることに注意してください。正常にロードするには、十分なCPU RAM（少なくとも90GB）が必要です。

onnx rt

ONNX RTは、一部のモデル（T5ではなく）で動作し、速度がわずかにブーストを提供できます。

ORTをインストールしてから、 TrainingArguments.torch_ort=Trueを設定します

pip install torch-ort -f https://onnxruntimepackages.z14.web.core.windows.net/onnxruntime_stable_torch190.cu111.html

python -m torch_ort.configure

発達

建物パッケージ

python3 -m pip install --upgrade build twine
python3 -m build
python3 -m twine upload dist/ * 

免責事項

私自身の使用のための個人的なプロジェクトとして開発されたこのライブラリ。お気軽にフォークするか、自分の目的にも使用してください。私は、この図書館の使用の結果として発生する事故に責任を負いません。

3090 FE Cardsの注。ファンが100％ヒットした場合、VRAM温度が高い（> 100 deg C）を意味します。理論のこれらの温度での長時間のトレーニングは問題ありませんが、心の安心（私のように）が必要な場合は、トレーニング速度にわずかな影響を与える電力制限を下げることができます。ファンが100％に達していない限り、VRAMの温度は良いはずです。たとえば、電力制限を300W（350Wから）に減らすには：

sudo nvidia-smi -pl 300