gpt 2 tensorflow2.0

GPT-2預培訓和文本生成，在Tensorflow 2.0中實現

最初由Oapenai在Tensorflow 1.14中實施： - “ OpenAI/GPT-2”。 OpenAI GPT-2紙： - “語言模型是無監督的多任務學習者”

**該存儲庫在Tensorflow 2.0中具有OpenAI GPT-2預訓練和序列生成實現，**

要求

• python> = 3.6
• setuptools == 41.0.1
• ftfy == 5.6
• TQDM == 4.32.1
• 單擊== 7.0
• 句子== 0.1.83
• TensorFlow-GPU == 2.3.0
• numpy == 1.16.4

設定

 $ git clone https://github.com/akanyaani/gpt-2-tensorflow2.0
$ cd gpt-2-tensorflow2.0
$ pip install -r requirements.txt

您可以使用存儲庫中可用的示例數據預先培訓模型，也可以使用此Github repo https://github.com/eukaryote31/openwebtext下載數據

在存儲庫中可用的樣本數據的預培訓模型

 $ python pre_process.py --help

Options:
  --data-dir TEXT        training data path  [default: /data/scraped]
  --vocab-size INTEGER   byte pair vocab size  [default: 24512]
  --min-seq-len INTEGER  minimum sequence length  [default: 15]
  --max-seq-len INTEGER  maximum sequence length  [default: 512]
  --help                 Show this message and exit.
  
  
>> python pre_process.py

OpenWebText或任何其他數據的培訓模型

 >> python pre_process.py --data-dir=data_directory --vocab-size=32000

 $ python train_gpt2.py --help

Options:
  --num-layers INTEGER      No. of decoder layers  [default: 8]
  --embedding-size INTEGER  Embedding size  [default: 768]
  --num-heads INTEGER       Number of heads  [default: 8]
  --dff INTEGER             Filter Size  [default: 3072]
  --max-seq-len INTEGER     Seq length  [default: 515]
  --vocab-size INTEGER      Vocab size  [default: 24512]
  --optimizer TEXT          optimizer type  [default: adam]
  --batch-size INTEGER      batch size  [default: 8]
  --learning-rate FLOAT     learning rate  [default: 0.001]
  --graph-mode BOOLEAN      TF run mode  [default: False]
  --distributed BOOLEAN     distributed training  [default: False]
  --help                    Show this message and exit.
  
  
>> python train_gpt2.py 
  --num-layers=8 
  --num-heads=8 
  --dff=3072 
  --embedding-size=768 
  --batch-size=32 
  --learning-rate=5e-5
  --graph-mode=True

在多個GPU上分發培訓。

 >> python train_gpt2.py 
  --num-layers=8 
  --num-heads=8 
  --dff=3072 
  --embedding-size=768 
  --batch-size=32 
  --learning-rate=5e-5 
  --distributed=True 
  --graph-mode=True

通過命令行啟動張板。

 $ tensorboard --logdir /log

預處理模型後，您可以通過為模型提供一些上下文來生成序列。打開此筆記本並加載驗證的模型並傳遞上下文以模型它將返回生成的序列。

 $ sequence_generator.ipynb

做

 1. Parallel Preprocessing.
2. Shared weights across layers.
3. Factorized embedding.
4. Fine-Tuning wrapper.

參考：

• “ OpenAI/GPT-2”
• “擁抱面pytorch-transformer”
• “ Tensorflow變形金剛”
• “插圖的GPT-2”

貢獻

• 總是歡迎您的問題和公關。

作者

• Abhay Kumar
• 作者電子郵件：[email protected]
• 在Twitter上關注我

執照

• 麻省理工學院

GPT-2模型的計算圖。