gpt2 ml下載gpt2 ml源代碼下載

gpt2 ml

其他源碼

V1.0 Release

下載

多種語言的GPT2

中文說明|英語

簡化的GPT2火車腳本（（基於Grover）（支持TPU）
移植的伯特令牌，多語種語料庫兼容
1.5B GPT2預處理的中國模型（〜15G語料庫，10W步驟）
電池包括COLAB演示＃
1.5B GPT2預估計的中國模型（〜30g語料庫，22W步驟）

預驗證的模型

尺寸	語言	語料庫	詞彙	link1	link2	SHA256
1.5B參數	中國人	〜30克	線索（8021令牌）	Google Drive	百度鍋（FFZ6）	E698CC97A7F5F706F84F58BB469D614E 51D3C0CE5F9AB9BF77E01E3FCB41D482
1.5B參數	中國人	〜15克	伯特（21128代幣）	Google Drive	百度鍋（Q9VR）	4A6E5124DF8DB7AC2BDD902E6191B807 A6983A7F5D09FB10CE011F9A073B183E

Thucnews和nlp_chinese_corpus的語料庫

使用雲TPU POD V3-256訓練22W步驟

Google Colab

只需單擊2次點擊（不包括Colab auth過程），1.5B預處理的中國模型演示已準備就緒：

[COLAB筆記本]

火車

免責聲明

該存儲庫中的內容是出於學術研究目的，我們沒有提供任何結論性的評論。

引用

 @misc{GPT2-ML,
  author = {Zhibo Zhang},
  title = {GPT2-ML: GPT-2 for Multiple Languages},
  year = {2019},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/imcaspar/gpt2-ml}},
}