gated Transformer

Transformer terjaga keamanannya

Model transformator pretrained yang terjaga keamanannya untuk pemodelan urutan ke-urutan yang kuat. Ia menggunakan unit gating untuk mendeteksi dan memperbaiki suara dari data teks dan menghasilkan target yang tidak digunakan dari dekoder generatif.

Dalam pekerjaan ini kami melakukan percobaan kami pada tiga tugas -

• Teks Denoising Corrputed
• Terjemahan Mesin Denoised
• Ringkasan Denoise

Gated -Transformer ditampilkan efektif pada -

• Kebisingan ocr
• Kesalahan ejaan acak
• Suara berbasis keyboard
• Penyisipan, penghapusan, bertukar suara berbasis

Instalasi untuk percobaan

 $ pip install -r requirements.txt

Perintah untuk dijalankan

Melatih Denoiser

Model Sequence-To-Sequence Pretrained (EG-BART, T5)

 $ cd ./drive/MyDrive/gated-denoise/ && python train.py --train_file ./data.csv 
                                                  --model_path ./model/ --model_type bart --pretrained_encoder_path "facebook/bart-base" 
                                                  --mask_gate --copy_gate --generate_gate --skip_gate 
                                                  --epochs 15

Model Transformer Encoder -Decoder (misalnya - Bert2bert)

 $ cd ./drive/MyDrive/gated-denoise/ && python train.py --train_file ./data.csv 
                                                  --model_path ./model/ --model_type seq2seq 
                                                  --pretrained_encoder_path "bert-base-uncased" --pretrained_decoder_path "bert-base-uncased" 
                                                  --mask_gate --copy_gate --generate_gate --skip_gate 
                                                  --epochs 15

Kesimpulan

 $ cd ./drive/MyDrive/gated-denoise/ && python predict.py --data_file ./data.csv 
                                                  --model_path ./model/ --model_type bart --pretrained_encoder_path "facebook/bart-base" 
                                                  --mask_gate --copy_gate --generate_gate --skip_gate 

Kutipan

Jika Anda menemukan repo ini berguna, silakan kutip kertas kami:

 @inproceedings {,
  author    = { Ayan Sengupta and
               Amit Kumar and
               Sourabh Kumar Bhattacharjee and
               Suman Roy } ,
  title     = { Gated Transformer for Robust De-noised Sequence-to-Sequence Modelling } ,
  booktitle = { } ,
  publisher = { } ,
  year      = { } ,
  url       = { } ,
  doi       = { } ,
}