gpt2 ml

GPT2 für mehrere Sprachen

中文说明| Englisch

• Vereinfachte GPT2 -Zugskripte （basierend auf Grover, unterstützt TPUs）
• Ported Bert Tokenizer, mehrsprachige Korpuskompatibel
• 1,5B GPT2 Present Chinese Model (~ 15G Corpus, 10W Schritte)
• Colab-Demo # mit Batterien inkludiert
• 1,5B GPT2 Present Chinese Model (~ 30g Corpus, 22W Schritte)

Vorbereitetes Modell

Größe	Sprache	Korpus	Wortschatz	Link1	Link2	SHA256
1,5b Parames	chinesisch	~ 30g	Hinweis (8021 Token)	Google Drive	Baidu Pan (FFZ6)	e698cc97a7f5f706f84f58bb469d614e 51D3C0CE5F9AB9BF77E01E3FCB41D482
1,5b Parames	chinesisch	~ 15g	Bert (21128 Token)	Google Drive	Baidu Pan (Q9VR)	4A6E5124DF8DB7AC2BDD902E6191B807 A6983A7F5D09FB10CE011F9A073B183E

Korpus von Thucnews und NLP_Chinese_Corpus

Verwenden von Cloud TPU POD V3-256, um 22W-Stufen zu trainieren

Google Colab

Mit nur 2 Klicks (ohne Colab -Authandprozess) ist die 1,5B -Presainierte chinesische Model -Demo bereit zu gehen:

[Colab Notebook]

Zug

Haftungsausschluss

Die Inhalte in diesem Repository sind für akademische Forschungszwecke und wir machen keine schlüssigen Bemerkungen.

Zitat

 @misc{GPT2-ML,
  author = {Zhibo Zhang},
  title = {GPT2-ML: GPT-2 for Multiple Languages},
  year = {2019},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/imcaspar/gpt2-ml}},
}

Referenz

https://github.com/google-research/bert

https://github.com/rowanz/grover

Forschungsarbeiten mit Cloud -TPUs von Googles TensorFlow Research Cloud (TFRC) unterstützt

Drücken

[机器之心] 只需单击三次 ， 让中文 GPT-2 为你生成定制故事

[科学空间] 现在可以用 Keras 玩中文 gpt2 了