ดาวน์โหลด gpt2 ml - ดาวน์โหลดซอร์สโค้ด gpt2 ml

gpt2 ml

ซอร์สโค้ดอื่น ๆ

V1.0 Release

ดาวน์โหลด

GPT2 สำหรับหลายภาษา

中文说明| ภาษาอังกฤษ

สคริปต์รถไฟ GPT2 ที่เรียบง่าย (ขึ้นอยู่กับ Grover สนับสนุน TPUs)
Ported Bert Tokenizer, Corpus หลายภาษาเข้ากันได้
1.5B GPT2 แบบจำลองภาษาจีนที่ถูกเตรียมไว้ล่วงหน้า (~ 15G Corpus, 10W ขั้นตอน)
การสาธิต colab ที่รวมแบตเตอรี่ #
1.5B GPT2 รุ่นจีนที่ผ่านการฝึกฝนมาก่อน (~ 30G Corpus, 22W ขั้นตอน)

แบบจำลอง

ขนาด	ภาษา	คอร์ปัส	คำศัพท์	Link1	link2	Sha256
1.5B params	ชาวจีน	~ 30 กรัม	เบาะแส (โทเค็น 8021)	Google Drive	Baidu Pan (FFZ6)	E698CC97A7F5F706F84F58BB469D614E 51D3C0CE5F9AB9BF77E01E3FCB41D482
1.5B params	ชาวจีน	~ 15g	เบิร์ต (21128 โทเค็น)	Google Drive	Baidu Pan (Q9VR)	4A6E5124DF8DB7AC2BDD902E6191B807 A6983A7F5D09FB10CE011F9A073B183E

คลังข้อมูลจาก Thucnews และ NLP_CHINESE_CORPUS

การใช้ Cloud TPU POD V3-256 เพื่อฝึกอบรมขั้นตอน 22W

การสูญเสีย

Google Colab

ด้วยการคลิกเพียง 2 ครั้ง (ไม่รวมถึงกระบวนการ Auth Auth) การสาธิตโมเดลภาษาจีน 1.5B ที่ได้รับการฝึกฝนพร้อม:

[โน๊ตบุ๊ค Colab]

รถไฟ

คำเตือน

เนื้อหาในพื้นที่เก็บข้อมูลนี้มีวัตถุประสงค์เพื่อการวิจัยเชิงวิชาการและเราไม่ได้ให้ข้อสังเกตข้อสรุปใด ๆ

การอ้างอิง

 @misc{GPT2-ML,
  author = {Zhibo Zhang},
  title = {GPT2-ML: GPT-2 for Multiple Languages},
  year = {2019},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/imcaspar/gpt2-ml}},
}