shakespeareGPT

Shakespearegpt

Andrej Karpathyに基づいたゼロからGPTの構築とトレーニング：GPT：ゼロから、コードで、綴りをしましょう。チュートリアル

Dataset Tiny-Shakespeare：わずかな変更を加えたオリジナル。

TutorialGpt（ビデオに続く）

• Basic_bigramlm.py：生成された基本的なBigRamモデルを構築して、物事を転がすようにしました。
• Tutorial.ipynb：TRIL、MASKED_FILL、SOFTMAX +注意のメモを使用して、基本的な注意メカニズムを理解しました。
• lmwithattention.py：モデルを継続しましたが、今では単一の注意ヘッド、トークンの埋め込み、位置埋め込みで継続しました。
• AttentionBlock.py：単一の注意ヘッドを構築しました
• lm_multihead_attention_ffwd.ipynb：モデルを継続して、LM_headの前に複数の注意ヘッドを継続し、別のフィードフォワードレイヤーを継続しました。
• TutorialGpt.ipynb：変圧器ブロック、階層化、残留接続、より良い損失評価、ドロップアウト、レイヤールムを作成しました。

文字レベルGPT

キャラクターレベルのトークンザーを使用しました。 n_embeds、num_headなどのハイパーパラメーターの影響をよりよく理解するために、異なる構成を備えた2つのバージョンをトレーニングしました。

Kaggleを試してみてください

• V1：

  • ノート
  • 保存されたモデル
  • 結果

• V2：

  • ノート
  • 保存されたモデル
  • 結果

Shakespearegpt

トークン剤をエンコードするバイトペアを使用しました。

Kaggleを試してみてください

• gpt.py：完全なGPTモデル
• Dataset.py：トーチデータセット
• build_tokenizer.py：bpeトークンザーを使用したhuggingface tokenizersで保存されたgpt-2に似たゼロからゼロからトークネザー
• Train.py：トレーニングスクリプトには、オプティマイザー、構成、損失機能、トレインループ、検証ループ、モデル保存が含まれています
• Generate.py：CPUにモデルをロードしてテキストを生成します。

バージョン

•   V1
    n_embed = 384
    n_heads = 12
    head_size = 32
    n_layers = 4
    lr = 6e-4
    attn_dropout = 0.1
    block_dropout = 0.1
  
    Train Loss: 4.020419597625732
    Valid Loss: 6.213085174560547
  

  • ノート
  • 保存されたモデル
  • 結果

•   V2
    n_embed = 384
    n_heads = 6
    head_size = 64
    n_layers = 3
    lr = 5e-4
    attn_dropout = 0.2
    block_dropout = 0.2
  
    Train Loss: 3.933095216751099 
    Valid Loss: 5.970513820648193
  

  • ノート
  • 保存されたモデル
  • 結果

---

いつものように、Andrejによる信じられないほどのチュートリアル！