shakespeareGPT

莎士比亚特区

基于Andrej Karpathy的建筑和培训GPT从头开始：让我们构建GPT：从头开始，代码，阐明。教程

数据集Tiny-Shakespeare：原始修改。

TutorialGpt（遵循视频）

• BASIC_BIGRAMLM.PY：构建了一个基本的Bigram模型，并具有生成以使事情滚动。
• tutorial.ipynb：使用Tril，Masked_fill，SoftMax + Notes的注意，可以理解基本的注意机制。
• lmwithattention.py：继续模型，但现在具有单个注意力头，象征性的嵌入，位置嵌入。
• 注意力障碍：建立了一个注意力
• LM_MULTIHEAD_ATTENTION_FFWD.IPYNB：继续使用多个注意力头的模型，并在LM_HEAD前一个单独的馈送前层。
• tutorialgpt.ipynb：创建了变压器块，分层，剩余连接，更好的损失评估，辍学，分层。

角色级别GPT

使用字符级令牌。训练有两个具有不同配置的版本，以更好地了解超参数，例如N_Embeds，num_heads。

尝试Kaggle

• V1：

  • 笔记本
  • 保存的模型
  • 结果

• v2：

  • 笔记本
  • 保存的模型
  • 结果

莎士比亚特区

使用了字节对编码令牌。

尝试Kaggle

• gpt.py：完整的GPT模型
• dataset.py：火炬数据集
• build_tokenizer.py：使用huggingface tokenizers从头开始的BPE令牌，类似于保存在Tokenizer上的GPT-2
• train.py：培训脚本包含优化器，配置，损耗功能，火车环，验证环，模型保存
• 生成.py：通过将模型加载到CPU上来生成文本。

版本

•   V1
    n_embed = 384
    n_heads = 12
    head_size = 32
    n_layers = 4
    lr = 6e-4
    attn_dropout = 0.1
    block_dropout = 0.1
  
    Train Loss: 4.020419597625732
    Valid Loss: 6.213085174560547
  

  • 笔记本
  • 保存的模型
  • 结果

•   V2
    n_embed = 384
    n_heads = 6
    head_size = 64
    n_layers = 3
    lr = 5e-4
    attn_dropout = 0.2
    block_dropout = 0.2
  
    Train Loss: 3.933095216751099 
    Valid Loss: 5.970513820648193
  

  • 笔记本
  • 保存的模型
  • 结果

---

和往常一样，安德烈·伊斯特里（Andrej）的一个令人难以置信的教程！