gated Transformer

transformador cerrado

Modelo de transformador previamente prenatado para el modelado robusto de secuencia a secuencia de secuencia. Utiliza una unidad de activación para detectar y corregir los ruidos de los datos de texto y generar un objetivo desactivado a partir de un decodificador generativo.

En este trabajo realizamos nuestro experimento en tres tareas -

• Denoización de texto corrutado
• Traducción automática de Denotised
• Resumen de Denoise

transformador cerrado se muestra efectivo en -

• Ruido de OCR
• Errores de ortografía aleatoria
• Ruidos basados ​​en el teclado
• Inserción, deleción y ruidos basados ​​en el intercambio

Instalación para experimentos

 $ pip install -r requirements.txt

Comandos para ejecutar

Entrenando a un Denoiser

Modelo de secuencia de secuencia de transformador previa a la secuencia (p. Ej., Bart, T5)

 $ cd ./drive/MyDrive/gated-denoise/ && python train.py --train_file ./data.csv 
                                                  --model_path ./model/ --model_type bart --pretrained_encoder_path "facebook/bart-base" 
                                                  --mask_gate --copy_gate --generate_gate --skip_gate 
                                                  --epochs 15

Modelo transformador codificador -decoder (p. Ej. - Bert2bert)

 $ cd ./drive/MyDrive/gated-denoise/ && python train.py --train_file ./data.csv 
                                                  --model_path ./model/ --model_type seq2seq 
                                                  --pretrained_encoder_path "bert-base-uncased" --pretrained_decoder_path "bert-base-uncased" 
                                                  --mask_gate --copy_gate --generate_gate --skip_gate 
                                                  --epochs 15

Inferencia

 $ cd ./drive/MyDrive/gated-denoise/ && python predict.py --data_file ./data.csv 
                                                  --model_path ./model/ --model_type bart --pretrained_encoder_path "facebook/bart-base" 
                                                  --mask_gate --copy_gate --generate_gate --skip_gate 

Citación

Si encuentra útil este repositorio, cite nuestro artículo:

 @inproceedings {,
  author    = { Ayan Sengupta and
               Amit Kumar and
               Sourabh Kumar Bhattacharjee and
               Suman Roy } ,
  title     = { Gated Transformer for Robust De-noised Sequence-to-Sequence Modelling } ,
  booktitle = { } ,
  publisher = { } ,
  year      = { } ,
  url       = { } ,
  doi       = { } ,
}