gpt2 ml

複数の言語のGPT2

中文说明|英語

• simplifed gpt2トレーニングスクリプトgroverに基づいて、tpusをサポートする）
• 移植されたバートトークネザー、多言語コーパス互換
• 1.5B GPT2事前に処理された中国モデル（〜15gコーパス、10Wステップ）
• バッテリーが含むコラブデモ＃
• 1.5B GPT2事前に抑制された中国モデル（〜30gコーパス、22Wステップ）

事前に保護されたモデル

サイズ	言語	コーパス	語彙	link1	link2	SHA256
1.5bパラメーション	中国語	〜30g	手がかり（8021トークン）	Googleドライブ	Baidu Pan（FFZ6）	E698CC97A7F5F706F84F58BB469D614E 51D3C0CE5F9AB9BF77E01E3FCB41D482
1.5bパラメーション	中国語	〜15g	バート（21128トークン）	Googleドライブ	Baidu Pan（Q9VR）	4A6E5124DF8DB7AC2BDD902E6191B807 A6983A7F5D09FB10CE011F9A073B183E

Thucnewsとnlp_chinese_corpusのコーパス

クラウドTPU POD V3-256を使用して、22Wのステップをトレーニングします

Google Colab

わずか2回のクリック（Colab Authプロセスを含めない）で、1.5Bの前提条件の中国モデルデモは準備ができています。

[コラブノートブック]

電車

免責事項

このリポジトリの内容は学術研究の目的であり、決定的な発言は提供していません。

引用

 @misc{GPT2-ML,
  author = {Zhibo Zhang},
  title = {GPT2-ML: GPT-2 for Multiple Languages},
  year = {2019},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/imcaspar/gpt2-ml}},
}

参照

https://github.com/google-research/bert

https://github.com/rowanz/grover

GoogleのTensorflow Research Cloud（TFRC）のクラウドTPUでサポートされている研究

プレス

[机器之心]只需单击三次、让中文gpt-2为你生成定制故事

[科学空间]现在可以用ケラス玩中文gpt2了