multitask_disfluency_detection

การตรวจจับความไม่ลงรอยกันของมัลติทาสก์

รหัสสำหรับกระดาษ "การเรียนรู้แบบหลายงานสำหรับการตรวจจับความไม่แน่นอนของโดเมน-ทั่วไปในระบบการสนทนา" (Igor Shalyminov, Arash Eshghi และ Oliver Lemon) [Semdial 2018 Paper] [Slides]

สถาปัตยกรรมแบบจำลอง

เริ่มต้น

1. ตั้งค่าสภาพแวดล้อม (ด้านล่างเป็นขั้นตอนสำหรับ conda):

$ cd code-directory
$ git submodule update --init
$ conda create -n multitask_disfluency python=2.7
$ conda activate multitask_disfluency
$ pip install -r requirements.txt

2. ประมวลผลชุดข้อมูลสวิตช์บอร์ดสำหรับการฝึกอบรม:

$ python make_deep_disfluency_dataset.py swbd disfluency

3. ฝึกอบรมแบบจำลอง:

$ python train.py swbd model

Babi+ การสร้างข้อมูลการศึกษาความไม่แน่นอน

1. รับเครื่องมือ BABI และการติดตั้งข้อกำหนด
2. ดาวน์โหลดงานกล่องโต้ตอบ BABI ลงในโฟลเดอร์ babi_tools
3. เรียกใช้ sh make_generalization_study_datasets.sh <RESULT_FOLDER>
4. เรียกใช้ sh tag_dataset.sh <RESULT_FOLDER> <config_file_name> สำหรับการกำหนดค่าทุกครั้งใน 2018_generalization_study_configs
5. ชุดข้อมูลที่ได้คือ <RESULT_FOLDER>/<BABI_DATASET_NAME>/*.tagged.json