keras xlnet
1.0.0
رخصة
[中文 | الإنجليزية]
التنفيذ غير الرسمي لـ XLNET. يوضح التضمين استخراج وتضمين مستخلص الذاكرة كيفية الحصول على مخرجات طبقة المحولات الأخيرة باستخدام نقاط التفتيش المدربة مسبقًا.
pip install keras-xlnetانقر على اسم المهمة لرؤية العروض التوضيحية مع النموذج الأساسي:
| اسم المهمة | المقاييس | النتائج التقريبية على مجموعة DEV |
|---|---|---|
| كولا | ماثيو كور. | 52 |
| SST-2 | دقة | 93 |
| MRPC | دقة/F1 | 86/89 |
| STS-B | بيرسون كور. / سبيرمان كور. | 86/87 |
| QQP | دقة/F1 | 90/86 |
| mnli | دقة | 84/84 |
| qnli | دقة | 86 |
| RTE | دقة | 64 |
| wnli | دقة | 56 |
(يتم التنبؤ فقط بـ 0s في مجموعة بيانات WNLI)
import os
from keras_xlnet import Tokenizer , load_trained_model_from_checkpoint , ATTENTION_TYPE_BI
checkpoint_path = '.../xlnet_cased_L-24_H-1024_A-16'
tokenizer = Tokenizer ( os . path . join ( checkpoint_path , 'spiece.model' ))
model = load_trained_model_from_checkpoint (
config_path = os . path . join ( checkpoint_path , 'xlnet_config.json' ),
checkpoint_path = os . path . join ( checkpoint_path , 'xlnet_model.ckpt' ),
batch_size = 16 ,
memory_len = 512 ,
target_len = 128 ,
in_train_phase = False ,
attention_type = ATTENTION_TYPE_BI ,
)
model . summary () الوسائط batch_size و memory_len و target_len هي الأحجام القصوى المستخدمة لتهيئة الذكريات. يتم إرجاع النموذج المستخدم لتدريب نموذج اللغة إذا كان in_train_phase True ، وإلا سيتم إرجاع نموذج يستخدم للضبط.
لاحظ أنه يجب أن يكون shuffle False في fit أو fit_generator إذا تم استخدام الذكريات.
in_train_phase False3 مدخلات:
(batch_size, target_len) .(batch_size, target_len) .(batch_size, 1) .1 الإخراج:
(batch_size, target_len, units) . in_train_phase True4 مدخلات:
(batch_size, target_len) .(batch_size, target_len) .(batch_size, 1) .(batch_size, target_len) .1 الإخراج:
(batch_size, target_len, num_token) .
