BERT pytorch ดาวน์โหลด - BERT pytorch Source Source Download

BERT pytorch

ซอร์สโค้ดอื่น ๆ

1.0.0

ดาวน์โหลด

Bert-Pytorch

การใช้งาน Pytorch ของปี 2018 Bert ของ Google AI พร้อมคำอธิบายประกอบแบบง่าย ๆ

Bert 2018 Bert: การฝึกอบรมก่อนการหม้อแปลงแบบสองทิศทางลึกสำหรับภาษาความเข้าใจภาษา URL กระดาษ: https://arxiv.org/abs/1810.04805

การแนะนำ

Bert Paper ของ Google AI แสดงผลลัพธ์ที่น่าอัศจรรย์ในงาน NLP ต่างๆ (งานใหม่ 17 NLP SOTA) รวมถึงคะแนน F1 ของมนุษย์ที่ดีกว่า Squad v1.1 งาน QA บทความนี้พิสูจน์แล้วว่าหม้อแปลง (การใส่ใจในตัวเอง) สามารถใช้อย่างมีประสิทธิภาพเป็นทางเลือกของแบบจำลองภาษาก่อนหน้าด้วยวิธีการฝึกแบบจำลองภาษาที่เหมาะสม และที่สำคัญพวกเขาแสดงให้เราเห็นว่ารูปแบบภาษาที่ผ่านการฝึกอบรมมาก่อนนี้สามารถถ่ายโอนไปยังงาน NLP ใด ๆ โดยไม่ต้องสร้างสถาปัตยกรรมแบบจำลองเฉพาะงาน

ผลลัพธ์ที่น่าอัศจรรย์นี้จะบันทึกในประวัติศาสตร์ NLP และฉันคาดว่าเอกสารเพิ่มเติมเกี่ยวกับเบิร์ตจะได้รับการเผยแพร่เร็ว ๆ นี้

repo นี้เป็นการดำเนินการของเบิร์ต รหัสง่ายมากและเข้าใจง่าย รหัสเหล่านี้บางส่วนขึ้นอยู่กับหม้อแปลงหมายเหตุประกอบ

ขณะนี้โครงการนี้กำลังดำเนินการเกี่ยวกับความคืบหน้า และรหัสยังไม่ได้รับการตรวจสอบ

การติดตั้ง

 pip install bert-pytorch

เร็ว

ข้อสังเกต: คลังข้อมูลของคุณควรเตรียมด้วยสองประโยคในหนึ่งบรรทัดพร้อมตัวคั่นแท็บ ( t)

0. เตรียมคลังข้อมูลของคุณ

 Welcome to the t the junglen
I can stay t here all nightn

หรือคลังข้อมูลโทเค็น (โทเค็นไม่ได้อยู่ในแพ็คเกจ)

 Wel_ _come _to _the t _the _junglen
_I _can _stay t _here _all _nightn

1. การสร้างคำศัพท์ตามคลังข้อมูลของคุณ

bert-vocab -c data/corpus.small -o data/vocab.small

2. ฝึกอบรมรุ่นเบิร์ตของคุณเอง

bert -c data/corpus.small -v data/vocab.small -o output/bert.model

รูปแบบภาษาก่อนการฝึกอบรม

ในบทความผู้เขียนแสดงวิธีการฝึกอบรมแบบจำลองภาษาใหม่ซึ่งเป็น "รูปแบบภาษาที่สวมหน้ากาก" และ "ทำนายประโยคถัดไป"

รูปแบบภาษาที่สวมหน้ากาก

กระดาษต้นฉบับ: 3.3.1 งาน #1: สวมหน้ากาก LM

 Input Sequence  : The man went to [MASK] store with [MASK] dog
Target Sequence :                  the                his

กฎ:

สุ่ม 15% ของโทเค็นอินพุตจะถูกเปลี่ยนเป็นบางสิ่งบางอย่างตามภายใต้กฎย่อย

สุ่ม 80% ของโทเค็นจะเป็นโทเค็น [MASK]
สุ่ม 10% ของโทเค็นจะเป็นโทเค็น [RANDOM] (คำอื่น)
สุ่ม 10% ของโทเค็นจะยังคงเหมือนเดิม แต่ต้องทำนาย

ทำนายประโยคถัดไป

กระดาษต้นฉบับ: 3.3.2 งาน #2: การทำนายประโยคถัดไป

 Input : [CLS] the man went to the store [SEP] he bought a gallon of milk [SEP]
Label : Is Next

Input = [CLS] the man heading to the store [SEP] penguin [MASK] are flight ##less birds [SEP]
Label = NotNext

"ประโยคนี้สามารถเชื่อมต่อได้อย่างต่อเนื่องหรือไม่"

การทำความเข้าใจความสัมพันธ์ระหว่างสองประโยคข้อความซึ่งไม่ได้ถูกจับโดยตรงโดยการสร้างแบบจำลองภาษา