CALM Dialogue

Контекстное моделирование языка для целенаправленных систем диалога

Официальный код для статьи «Языковое моделирование контекстного языка для целенаправленных систем диалога»

Сайт проекта | arxiv

настраивать

1. Создать среду Conda: conda create --name CALM python=3.9.7
2. Активировать среду Conda: conda activate CALM
3. Установите требования: pip install -r requirements.txt
4. Установите Pytorch 1.9.0: conda install pytorch==1.9.0 cudatoolkit=11.3 -c pytorch -c conda-forge
5. export PYTHONPATH="$PWD/offline_airdialogue"
6. Загрузите обработанные данные и модель контрольно -пропускных пунктов здесь. outputs/ папка содержит контрольно -пропускные пункты для нашей основной модели, нашей предварительной модели задачи и нашего клиента.

Обучение

(Примечание: все обучающие прогоны используют Wandb по умолчанию, вы можете отключить синхронизацию WANDB в конфигурации.)

• cd scripts/train

• Чтобы запустить данные о параллельной мульти-GPU, по любой из приведенных ниже команд замените python <script_path> с помощью python -m torch.distributed.launch --nproc_per_node <n_GPUs> --use_env <script_path> .

• Предварительное спокойствие
  (два варианта функции вспомогательных потерь)

  • Скрипт: python train_pretrain_table_agent.py
    config: config/train_pretrain_table_agent.yaml

  • Скрипт: python train_pretrain_simplified_aux_gpt2.py
    config: config/train_pretrain_simplified_aux_gpt2.yaml

• Обучение клиента бота

  • Скрипт: python train_customer.py
    config: config/train_customer_bot.yaml

• Тренировать спокойствие
  (два варианта функции вспомогательных потерь)

  • Скрипт: python train_real_table_agent.py
    config: config/train_real_table_agent.yaml

  • Скрипт: python train_simplified_aux_gpt2.py
    config: config/train_simplified_aux_agent.yaml

• Стандарт обучения LM

  • Скрипт: python train_basic_agent.py
    config: config/train_basic_agent.yaml

• Обучение модели вознаграждения для планирования развертывания на основе моделей

  • Скрипт: python train_constraint_parser.py
    config: config/train_constraint_parser.yaml

Оценка

• cd scripts/eval

• Моделируемая оценка

  • Скрипт: python selfplay_eval.py
    config: config/selfplay_eval.yaml
    
    
    • Журнал результатов будет сохранен в местоположении, указанном selfplay/outputs_file в конфигурации. Чтобы распечатать частоту успеха для выполнения самостоятельной игры: python compute_results.py --results_file <your_eval_outputs_file>
      
      
    • Примечание. Оценка самостоятельной игры по умолчанию будет использовать все графические процессоры, доступные на вашей машине. Чтобы указать, какие графические процессоры использовать, префикс команды с помощью CUDA_VISIBLE_DEVICES=<comma_seperated_list_of_gpu_indicies>

• Оценка качества языка

  • Скрипт: python language_quality_eval.py
    Конфигурация: config/language_eval.yaml
    
    
    • Чтобы параллелизировать оценку на нескольких -GPus, запустите: python -m torch.distributed.launch --nproc_per_node <n_GPUs> --use_env language_quality_eval.py