keras xlnet

Keras xlnet

Lisensi

[中文 中文 中文 中文 中文 中文 中文 中文 中文 中文 中文 中文 中文 中文 中文 中文 中文 中文 中文 中文 中文 中文 中文 中文 中文

Implementasi XLNET tidak resmi. Menanamkan ekstraksi dan ekstrak embedding dengan memori menunjukkan cara mendapatkan output dari lapisan transformator terakhir menggunakan pos pemeriksaan pra-terlatih.

Memasang

pip install keras-xlnet

Penggunaan

Fine-tuning pada lem

Klik nama tugas untuk melihat demo dengan model dasar:

Nama tugas	Metrik	Perkiraan hasil pada set dev
Cola	Matthew Corr.	52
SST-2	Ketepatan	93
Mrpc	Akurasi/f1	86/89
STS-B	Pearson Corr. / Spearman Corr.	86/87
QQP	Akurasi/f1	90/86
Mnli	Ketepatan	84/84
Qnli	Ketepatan	86
Rte	Ketepatan	64
Wnli	Ketepatan	56

(Hanya 0 yang diprediksi dalam dataset WNLI)

Memuat pos pemeriksaan pretrained

 import os
from keras_xlnet import Tokenizer , load_trained_model_from_checkpoint , ATTENTION_TYPE_BI

checkpoint_path = '.../xlnet_cased_L-24_H-1024_A-16'

tokenizer = Tokenizer ( os . path . join ( checkpoint_path , 'spiece.model' ))
model = load_trained_model_from_checkpoint (
    config_path = os . path . join ( checkpoint_path , 'xlnet_config.json' ),
    checkpoint_path = os . path . join ( checkpoint_path , 'xlnet_model.ckpt' ),
    batch_size = 16 ,
    memory_len = 512 ,
    target_len = 128 ,
    in_train_phase = False ,
    attention_type = ATTENTION_TYPE_BI ,
)
model . summary ()

Argumen batch_size , memory_len dan target_len adalah ukuran maksimum yang digunakan untuk inisialisasi ingatan. Model yang digunakan untuk melatih model bahasa dikembalikan jika in_train_phase True , jika tidak model yang digunakan untuk penyempurnaan akan dikembalikan.

Tentang i/o

Perhatikan bahwa shuffle harus False dalam fit atau fit_generator jika ingatan digunakan.

in_train_phase False

3 input:

• ID Token, dengan bentuk (batch_size, target_len) .
• ID Segmen, dengan bentuk (batch_size, target_len) .
• Panjang kenangan, dengan bentuk (batch_size, 1) .

1 output:

• Fitur untuk setiap token, dengan bentuk (batch_size, target_len, units) .

in_train_phase True

4 input:

• ID Token, dengan bentuk (batch_size, target_len) .
• ID Segmen, dengan bentuk (batch_size, target_len) .
• Panjang kenangan, dengan bentuk (batch_size, 1) .
• Topeng token, dengan bentuk (batch_size, target_len) .

1 output:

• Probabilitas masing -masing token di setiap posisi, dengan bentuk (batch_size, target_len, num_token) .