shakespeareGPT

莎士比亞特區

基於Andrej Karpathy的建築和培訓GPT從頭開始：讓我們構建GPT：從頭開始，代碼，闡明。教程

數據集Tiny-Shakespeare：原始修改。

TutorialGpt（遵循視頻）

• BASIC_BIGRAMLM.PY：構建了一個基本的Bigram模型，並具有生成以使事情滾動。
• tutorial.ipynb：使用Tril，Masked_fill，SoftMax + Notes的注意，可以理解基本的注意機制。
• lmwithattention.py：繼續模型，但現在具有單個注意力頭，象徵性的嵌入，位置嵌入。
• 注意力障礙：建立了一個注意力
• LM_MULTIHEAD_ATTENTION_FFWD.IPYNB：繼續使用多個注意力頭的模型，並在LM_HEAD前一個單獨的饋送前層。
• tutorialgpt.ipynb：創建了變壓器塊，分層，剩餘連接，更好的損失評估，輟學，分層。

角色級別GPT

使用字符級令牌。訓練有兩個具有不同配置的版本，以更好地了解超參數，例如N_Embeds，num_heads。

嘗試Kaggle

• V1：

  • 筆記本
  • 保存的模型
  • 結果

• v2：

  • 筆記本
  • 保存的模型
  • 結果

莎士比亞特區

使用了字節對編碼令牌。

嘗試Kaggle

• gpt.py：完整的GPT模型
• dataset.py：火炬數據集
• build_tokenizer.py：使用huggingface tokenizers從頭開始的BPE令牌，類似於保存在Tokenizer上的GPT-2
• train.py：培訓腳本包含優化器，配置，損耗功能，火車環，驗證環，模型保存
• 生成.py：通過將模型加載到CPU上來生成文本。

版本

•   V1
    n_embed = 384
    n_heads = 12
    head_size = 32
    n_layers = 4
    lr = 6e-4
    attn_dropout = 0.1
    block_dropout = 0.1
  
    Train Loss: 4.020419597625732
    Valid Loss: 6.213085174560547
  

  • 筆記本
  • 保存的模型
  • 結果

•   V2
    n_embed = 384
    n_heads = 6
    head_size = 64
    n_layers = 3
    lr = 5e-4
    attn_dropout = 0.2
    block_dropout = 0.2
  
    Train Loss: 3.933095216751099 
    Valid Loss: 5.970513820648193
  

  • 筆記本
  • 保存的模型
  • 結果

---

和往常一樣，安德烈·伊斯特里（Andrej）的一個令人難以置信的教程！