multitask_disfluency_detection

Detecção de disfluência multitarefa

Código para o artigo "Aprendizagem de várias tarefas para a detecção de disfluência falada de domínio-geral em sistemas de diálogo" (Igor Shalyminov, Arash Eshghi e Oliver Lemon) [Paper Semdial 2018] [slides]

Arquitetura de modelo

Começando

1. Configure o ambiente (abaixo estão as etapas para o CONDA):

$ cd code-directory
$ git submodule update --init
$ conda create -n multitask_disfluency python=2.7
$ conda activate multitask_disfluency
$ pip install -r requirements.txt

2. Pré -processo o conjunto de dados do quadro de distribuição para treinamento:

$ python make_deep_disfluency_dataset.py swbd disfluency

3. Treine o modelo:

$ python train.py swbd model

Babi+ Geração de dados de estudo de disfluência

1. Obtenha as ferramentas babi e instale requisitos
2. Baixe as tarefas de diálogo BABI na pasta babi_tools
3. Run sh make_generalization_study_datasets.sh <RESULT_FOLDER>
4. Execute sh tag_dataset.sh <RESULT_FOLDER> <config_file_name> para cada configuração em 2018_generalization_study_configs
5. Os conjuntos de dados resultantes são <RESULT_FOLDER>/<BABI_DATASET_NAME>/*.tagged.json