multitask_disfluency_detection

Многозадачное обнаружение дисфунией

Код для статьи «Многозадачное обучение для обнаружения разговоров с доменом в системах диалога» (Igor Shaliminov, Arash Eshghi и Oliver Lemon) [Lemdial 2018 Paper] [Слайды]

Модель архитектура

Начиная

1. Настройте среду (ниже представлены шаги для Conda):

$ cd code-directory
$ git submodule update --init
$ conda create -n multitask_disfluency python=2.7
$ conda activate multitask_disfluency
$ pip install -r requirements.txt

2. Предварительно обрабатывать набор данных коммутатора для обучения:

$ python make_deep_disfluency_dataset.py swbd disfluency

3. Обучить модель:

$ python train.py swbd model

BABI+ Disfluence Generation Generation

1. Получите инструменты Babi и установите требования
2. Скачать задачи диалога BABI в папку babi_tools
3. Запустить sh make_generalization_study_datasets.sh <RESULT_FOLDER>
4. 2018_generalization_study_configs sh tag_dataset.sh <RESULT_FOLDER> <config_file_name>
5. Полученные наборы данных: <RESULT_FOLDER>/<BABI_DATASET_NAME>/*.tagged.json Tagged.json