keras xlnet

Keras xlnet

ใบอนุญาต

[中文 | ภาษาอังกฤษ]

การใช้ XLNET อย่างไม่เป็นทางการ การสกัดแบบฝังและการฝังตัวที่มีหน่วยความจำแสดงวิธีรับเอาต์พุตของเลเยอร์หม้อแปลงสุดท้ายโดยใช้จุดตรวจสอบที่ผ่านการฝึกอบรมมาแล้ว

ติดตั้ง

pip install keras-xlnet

การใช้งาน

ปรับแต่งกาว

คลิกชื่องานเพื่อดูการสาธิตด้วยรุ่นพื้นฐาน:

ชื่องาน	ตัวชี้วัด	ผลลัพธ์โดยประมาณในชุด Dev
โคล่า	Matthew Corr.	52
SST-2	ความแม่นยำ	93
MRPC	ความแม่นยำ/F1	86/89
STS-B	Pearson Corr. / Spearman Corr.	86/87
qqp	ความแม่นยำ/F1	90/86
mnli	ความแม่นยำ	84/84
qnli	ความแม่นยำ	86
rte	ความแม่นยำ	64
wnli	ความแม่นยำ	56

(คาดการณ์เพียง 0s ในชุดข้อมูล WNLI)

โหลดจุดตรวจที่เตรียมไว้ล่วงหน้า

 import os
from keras_xlnet import Tokenizer , load_trained_model_from_checkpoint , ATTENTION_TYPE_BI

checkpoint_path = '.../xlnet_cased_L-24_H-1024_A-16'

tokenizer = Tokenizer ( os . path . join ( checkpoint_path , 'spiece.model' ))
model = load_trained_model_from_checkpoint (
    config_path = os . path . join ( checkpoint_path , 'xlnet_config.json' ),
    checkpoint_path = os . path . join ( checkpoint_path , 'xlnet_model.ckpt' ),
    batch_size = 16 ,
    memory_len = 512 ,
    target_len = 128 ,
    in_train_phase = False ,
    attention_type = ATTENTION_TYPE_BI ,
)
model . summary ()

อาร์กิวเมนต์ batch_size , memory_len และ target_len มีขนาดสูงสุดที่ใช้สำหรับการเริ่มต้นของความทรงจำ แบบจำลองที่ใช้สำหรับการฝึกอบรมรูปแบบภาษาจะถูกส่งคืนหาก in_train_phase เป็น True มิฉะนั้นโมเดลที่ใช้สำหรับการปรับแต่งจะถูกส่งคืน

เกี่ยวกับ I/O

โปรดทราบว่า shuffle ควรเป็น False ทั้งแบบ fit หรือ fit_generator หากใช้ความทรงจำ

in_train_phase เป็น False

3 อินพุต:

• รหัสของโทเค็นที่มีรูปร่าง (batch_size, target_len)
• ids ของเซ็กเมนต์ที่มีรูปร่าง (batch_size, target_len)
• ความยาวของความทรงจำที่มีรูปร่าง (batch_size, 1)

1 เอาต์พุต:

• คุณสมบัติสำหรับแต่ละโทเค็นที่มีรูปร่าง (batch_size, target_len, units)

in_train_phase เป็น True

4 อินพุต:

• รหัสของโทเค็นที่มีรูปร่าง (batch_size, target_len)
• ids ของเซ็กเมนต์ที่มีรูปร่าง (batch_size, target_len)
• ความยาวของความทรงจำที่มีรูปร่าง (batch_size, 1)
• มาสก์ของโทเค็นที่มีรูปร่าง (batch_size, target_len)

1 เอาต์พุต:

• ความน่าจะเป็นของแต่ละโทเค็นในแต่ละตำแหน่งที่มีรูปร่าง (batch_size, target_len, num_token)