keras xlnet

Keras xlnet

Lizenz

[中文 | Englisch]

Inoffizielle Implementierung von XLNET. Einbetten von Extraktion und Einbetten von Extrakt in den Speicher Zeigen Sie, wie die Ausgänge der letzten Transformatorschicht mithilfe vorhandener Checkpoints abgerufen werden.

Installieren

pip install keras-xlnet

Verwendung

Feinabstimmung auf Kleber

Klicken Sie auf den Aufgabenamen, um die Demos mit Basismodell anzuzeigen:

Aufgabenname	Metriken	Ungefähre Ergebnisse auf Dev Set
Cola	Matthew Corr.	52
SST-2	Genauigkeit	93
MRPC	Genauigkeit/F1	86/89
STS-B	Pearson Corr. / Spearman Corr.	86/87
QQP	Genauigkeit/F1	90/86
Mnli	Genauigkeit	84/84
Qnli	Genauigkeit	86
Rte	Genauigkeit	64
Wnli	Genauigkeit	56

(Nur 0s sind im WNLI -Datensatz vorhergesagt)

Laden Sie vorbereitete Kontrollpunkte

 import os
from keras_xlnet import Tokenizer , load_trained_model_from_checkpoint , ATTENTION_TYPE_BI

checkpoint_path = '.../xlnet_cased_L-24_H-1024_A-16'

tokenizer = Tokenizer ( os . path . join ( checkpoint_path , 'spiece.model' ))
model = load_trained_model_from_checkpoint (
    config_path = os . path . join ( checkpoint_path , 'xlnet_config.json' ),
    checkpoint_path = os . path . join ( checkpoint_path , 'xlnet_model.ckpt' ),
    batch_size = 16 ,
    memory_len = 512 ,
    target_len = 128 ,
    in_train_phase = False ,
    attention_type = ATTENTION_TYPE_BI ,
)
model . summary ()

Argumente batch_size , memory_len und target_len sind maximale Größen für die Initialisierung von Erinnerungen. Das für das Training verwendete Modell ein Sprachmodell wird zurückgegeben, wenn in_train_phase True ist. Andernfalls wird ein für die Feinabstimmung verwendete Modell zurückgegeben.

Über i/o

Beachten Sie, dass shuffle in fit oder fit_generator False sein sollte, wenn Erinnerungen verwendet werden.

in_train_phase ist False

3 Eingänge:

• IDs von Tokens mit Form (batch_size, target_len) .
• IDs von Segmenten mit Form (batch_size, target_len) .
• Länge der Erinnerungen, mit Form (batch_size, 1) .

1 Ausgang:

• Die Funktion für jedes Token mit Form (batch_size, target_len, units) .

in_train_phase ist True

4 Eingänge:

• IDs von Tokens mit Form (batch_size, target_len) .
• IDs von Segmenten mit Form (batch_size, target_len) .
• Länge der Erinnerungen, mit Form (batch_size, 1) .
• Masken von Token, mit Form (batch_size, target_len) .

1 Ausgang:

• Die Wahrscheinlichkeit jedes Tokens in jeder Position mit Form (batch_size, target_len, num_token) .