gated Transformer

封閉式轉換器

具有穩健的deNo序列對序列建模的封閉術驗證的變壓器模型。它使用門控單元來檢測和糾正文本數據的噪聲，並從生成解碼器中生成掉落的目標。

在這項工作中，我們對三個任務進行實驗 -

• 剝落的撥錯文本
• Denoized Machine Translation
• DENOISE摘要

封閉式轉換器在 -

• OCR噪音
• 隨機拼寫錯誤
• 基於鍵盤的聲音
• 插入，刪除，基於交換的聲音

實驗的安裝

 $ pip install -r requirements.txt

命令運行

培訓DENOISER

預處理的變壓器序列到序列模型（例如 - BART，T5）

 $ cd ./drive/MyDrive/gated-denoise/ && python train.py --train_file ./data.csv 
                                                  --model_path ./model/ --model_type bart --pretrained_encoder_path "facebook/bart-base" 
                                                  --mask_gate --copy_gate --generate_gate --skip_gate 
                                                  --epochs 15

變壓器編碼器模型（例如-Bert2bert）

 $ cd ./drive/MyDrive/gated-denoise/ && python train.py --train_file ./data.csv 
                                                  --model_path ./model/ --model_type seq2seq 
                                                  --pretrained_encoder_path "bert-base-uncased" --pretrained_decoder_path "bert-base-uncased" 
                                                  --mask_gate --copy_gate --generate_gate --skip_gate 
                                                  --epochs 15

推理

 $ cd ./drive/MyDrive/gated-denoise/ && python predict.py --data_file ./data.csv 
                                                  --model_path ./model/ --model_type bart --pretrained_encoder_path "facebook/bart-base" 
                                                  --mask_gate --copy_gate --generate_gate --skip_gate 

引用

如果您發現此存儲庫有用，請引用我們的論文：

 @inproceedings {,
  author    = { Ayan Sengupta and
               Amit Kumar and
               Sourabh Kumar Bhattacharjee and
               Suman Roy } ,
  title     = { Gated Transformer for Robust De-noised Sequence-to-Sequence Modelling } ,
  booktitle = { } ,
  publisher = { } ,
  year      = { } ,
  url       = { } ,
  doi       = { } ,
}