تنزيل BERT pytorch - تنزيل رمز المصدر BERT pytorch

BERT pytorch

شفرة المصدر الأخرى

1.0.0

تنزيل

بيرت بايتورش

تنفيذ Pytorch لـ Google AI's 2018 Bert ، مع شرح بسيط

Bert 2018 BERT: مسبق تدريب محولات ثنائية الاتجاه العميقة لفهم اللغة عنوان URL الورقية: https://arxiv.org/abs/1810.04805

مقدمة

تُظهر ورقة Bert من Google AI النتيجة المذهلة لمهمة NLP المختلفة (NEW NLP NLP NLP SOTA) ، بما في ذلك الأداء المتفوق على درجة Human F1 على Squad v1.1 QA Task. أثبتت هذه الورقة أن التشفير المستند إلى المحول (المصاحب الذاتي) يمكن استخدامه بقوة كبديل لنموذج اللغة السابق مع طريقة تدريب نموذج اللغة المناسبة. والأهم من ذلك ، أظهروا لنا أن نموذج اللغة المسبق قبل التدريب يمكن نقله إلى أي مهمة NLP دون جعل بنية نموذجية محددة للمهمة.

هذه النتيجة المذهلة ستكون قياسية في تاريخ NLP ، وأتوقع أن يتم نشر العديد من الأوراق الإضافية حول Bert قريبًا.

هذا الريبو هو تنفيذ بيرت. الكود بسيط للغاية وسهل الفهم بسرعة. تعتمد بعض هذه الرموز على المحول المشروح

حاليا هذا المشروع يعمل على التقدم. والرمز لم يتم التحقق منه بعد.

تثبيت

 pip install bert-pytorch

Quickstart

إشعار: يجب إعداد مجموعةك بجملتين في سطر واحد مع فاصل Tab ( t)

0. قم بإعداد مجموعتك

 Welcome to the t the junglen
I can stay t here all nightn

أو مجموعة رمزية (الرمز المميز ليس في حزمة)

 Wel_ _come _to _the t _the _junglen
_I _can _stay t _here _all _nightn

1. بناء المفردات بناءً على مجموعةك

bert-vocab -c data/corpus.small -o data/vocab.small

2. تدريب نموذج بيرت الخاص بك

bert -c data/corpus.small -v data/vocab.small -o output/bert.model

نموذج اللغة قبل التدريب

في الورقة ، يعرض المؤلفون أساليب تدريب نموذج اللغة الجديدة ، والتي هي "نموذج لغة مقنعة" و "توقع الجملة التالية".

نموذج اللغة المقنعة

الورقة الأصلية: 3.3.1 المهمة رقم 1: LM مقنعة

 Input Sequence  : The man went to [MASK] store with [MASK] dog
Target Sequence :                  the                his

قواعد:

بشكل عشوائي ، سيتم تغيير 15 ٪ من رمز المدخلات إلى شيء ما ، بناءً على القواعد الفرعية

بشكل عشوائي 80 ٪ من الرموز ، سيكون رمز [MASK]
عشوائيًا 10 ٪ من الرموز ، سيكون رمزًا [RANDOM] (كلمة أخرى)
عشوائيا 10 ٪ من الرموز ، سيبقى نفس. ولكن يجب التنبؤ.

توقع الجملة القادمة

الورقة الأصلية: 3.3.2 المهمة رقم 2: التنبؤ بالجملة التالية

 Input : [CLS] the man went to the store [SEP] he bought a gallon of milk [SEP]
Label : Is Next

Input = [CLS] the man heading to the store [SEP] penguin [MASK] are flight ##less birds [SEP]
Label = NotNext

"هل يمكن أن تكون هذه الجملة متصلة بشكل مستمر؟"

فهم العلاقة بين جملتين من النصين ، والتي لا يتم التقاطها مباشرة عن طريق نمذجة اللغة