gated Transformer

ผู้เปลี่ยนรูปแบบรั้วรอบขอบชิด

แบบจำลองหม้อแปลงหม้อแปลงที่มีรั้วล่วงหน้าสำหรับการสร้างแบบจำลองลำดับต่อลำดับ มันใช้หน่วย gating ในการตรวจจับและแก้ไขเสียงจากข้อมูลข้อความและสร้างเป้าหมายที่ไม่ได้รับสัญญาณจากตัวถอดรหัสกำเนิด

ในงานนี้เราทำการทดลองสามงาน -

• ข้อความที่มีความสัมพันธ์ denoising
• การแปลเครื่อง denoised
• การสรุป Denoise

Gated -Transformer แสดงผลที่มีประสิทธิภาพใน -

• เสียงรบกวน OCR
• ความผิดพลาดในการสะกดคำแบบสุ่ม
• เสียงอิงคีย์บอร์ด
• การแทรกการลบการแลกเปลี่ยนเสียงตาม

การติดตั้งสำหรับการทดลอง

 $ pip install -r requirements.txt

คำสั่งที่จะเรียกใช้

ฝึกอบรม denoiser

โมเดลลำดับของหม้อแปลงตามลำดับ (เช่น Bart, T5)

 $ cd ./drive/MyDrive/gated-denoise/ && python train.py --train_file ./data.csv 
                                                  --model_path ./model/ --model_type bart --pretrained_encoder_path "facebook/bart-base" 
                                                  --mask_gate --copy_gate --generate_gate --skip_gate 
                                                  --epochs 15

โมเดลเครื่องเข้ารหัสเครื่องเข้ารหัสหม้อแปลง (เช่น - bert2bert)

 $ cd ./drive/MyDrive/gated-denoise/ && python train.py --train_file ./data.csv 
                                                  --model_path ./model/ --model_type seq2seq 
                                                  --pretrained_encoder_path "bert-base-uncased" --pretrained_decoder_path "bert-base-uncased" 
                                                  --mask_gate --copy_gate --generate_gate --skip_gate 
                                                  --epochs 15

การอนุมาน

 $ cd ./drive/MyDrive/gated-denoise/ && python predict.py --data_file ./data.csv 
                                                  --model_path ./model/ --model_type bart --pretrained_encoder_path "facebook/bart-base" 
                                                  --mask_gate --copy_gate --generate_gate --skip_gate 

การอ้างอิง

หากคุณพบว่า repo นี้มีประโยชน์โปรดอ้างอิงกระดาษของเรา:

 @inproceedings {,
  author    = { Ayan Sengupta and
               Amit Kumar and
               Sourabh Kumar Bhattacharjee and
               Suman Roy } ,
  title     = { Gated Transformer for Robust De-noised Sequence-to-Sequence Modelling } ,
  booktitle = { } ,
  publisher = { } ,
  year      = { } ,
  url       = { } ,
  doi       = { } ,
}