الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

محول بوابات

نموذج المحولات المسبق بوابات للنمذجة المتسلسلة القوية إلى التسلسل. يستخدم وحدة البوابات لاكتشاف وتصحيح الضوضاء من البيانات النصية وإنشاء الهدف غير المهمل من وحدة فك ترميز توليدي.

محول بوابات

في هذا العمل ، نجري تجربتنا في ثلاث مهام -

  • تقليل النص على النص
  • ترجمة آلية دقة
  • تلخيص DENOISE

يظهر تحويل بوابات فعالة على -

  • الضوضاء OCR
  • أخطاء الإملاء العشوائية
  • الضوضاء القائمة على لوحة المفاتيح
  • الإدراج ، الحذف ، الضوضاء القائمة على التبادل

تركيب التجارب 

 $ pip install -r requirements.txt

أوامر لتشغيل

تدريب عجلات العجل

نموذج تسلسل إلى تسلسل التسلسل المسبق (على سبيل المثال-BART ، T5) 

 $ cd ./drive/MyDrive/gated-denoise/ && python train.py --train_file ./data.csv 
                                                  --model_path ./model/ --model_type bart --pretrained_encoder_path "facebook/bart-base" 
                                                  --mask_gate --copy_gate --generate_gate --skip_gate 
                                                  --epochs 15

نموذج ترميز المشفر المحول (على سبيل المثال - Bert2bert) 

 $ cd ./drive/MyDrive/gated-denoise/ && python train.py --train_file ./data.csv 
                                                  --model_path ./model/ --model_type seq2seq 
                                                  --pretrained_encoder_path "bert-base-uncased" --pretrained_decoder_path "bert-base-uncased" 
                                                  --mask_gate --copy_gate --generate_gate --skip_gate 
                                                  --epochs 15

الاستدلال 

 $ cd ./drive/MyDrive/gated-denoise/ && python predict.py --data_file ./data.csv 
                                                  --model_path ./model/ --model_type bart --pretrained_encoder_path "facebook/bart-base" 
                                                  --mask_gate --copy_gate --generate_gate --skip_gate

اقتباس

إذا وجدت هذا الريبو مفيدًا ، فيرجى الاستشهاد بالورقة: 

 @inproceedings {,
  author    = { Ayan Sengupta and
               Amit Kumar and
               Sourabh Kumar Bhattacharjee and
               Suman Roy } ,
  title     = { Gated Transformer for Robust De-noised Sequence-to-Sequence Modelling } ,
  booktitle = { } ,
  publisher = { } ,
  year      = { } ,
  url       = { } ,
  doi       = { } ,
}
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل