multitask_disfluency_detection

Détection de disfluence multitâche

Code du document "Apprentissage multi-tâches pour la détection de disfluence parlée du domaine général dans les systèmes de dialogue" (Igor Shalyminov, Arash Eshhi et Oliver Lemon) [Papier Semdial 2018] [Slides]

Architecture modèle

Commencer

1. Configurez l'environnement (ci-dessous sont des étapes pour conda):

$ cd code-directory
$ git submodule update --init
$ conda create -n multitask_disfluency python=2.7
$ conda activate multitask_disfluency
$ pip install -r requirements.txt

2. Prétraitez l'ensemble de données de standard pour la formation:

$ python make_deep_disfluency_dataset.py swbd disfluency

3. Former le modèle:

$ python train.py swbd model

Babi + Disfluance Study Génération de données

1. Obtenez les outils BABI et installez les exigences
2. Téléchargez les tâches de dialogue Babi dans le dossier babi_tools
3. Exécutez sh make_generalization_study_datasets.sh <RESULT_FOLDER>
4. Exécutez sh tag_dataset.sh <RESULT_FOLDER> <config_file_name> pour chaque configuration en 2018_generalization_study_configs
5. Les ensembles de données résultants sont <RESULT_FOLDER>/<BABI_DATASET_NAME>/*.tagged.json