CALM Dialogue

面向目標對話系統的上下文感知語言建模

該論文的官方代碼“面向目標對話系統的上下文意識語言建模”

項目網站| arxiv

設定

1. 創建Conda環境： conda create --name CALM python=3.9.7
2. 激活Conda環境： conda activate CALM
3. 安裝要求： pip install -r requirements.txt
4. 安裝Pytorch 1.9.0： conda install pytorch==1.9.0 cudatoolkit=11.3 -c pytorch -c conda-forge
5. export PYTHONPATH="$PWD/offline_airdialogue"
6. 在此處下載處理的數據和模型檢查點。 outputs/文件夾包含我們的主要模型，我們的任務預估計模型和客戶機器人的檢查點。

訓練

（注意：默認情況下，所有訓練運行都使用WANDB，您可以在配置中關閉WANDB同步。）

• cd scripts/train

• 要運行數據並行多GPU培訓，請在下面的任何命令上替換python <script_path>用python -m torch.distributed.launch --nproc_per_node <n_GPUs> --use_env <script_path> 。

• 預處理平靜
  （輔助損耗函數的兩個變體）

  • 腳本： python train_pretrain_table_agent.py
    config： config/train_pretrain_table_agent.yaml

  • 腳本： python train_pretrain_simplified_aux_gpt2.py
    config： config/train_pretrain_simplified_aux_gpt2.yaml

• 培訓客戶機器人

  • 腳本： python train_customer.py
    config： config/train_customer_bot.yaml

• 訓練平靜
  （輔助損耗函數的兩個變體）

  • 腳本： python train_real_table_agent.py
    config： config/train_real_table_agent.yaml

  • 腳本： python train_simplified_aux_gpt2.py
    config： config/train_simplified_aux_agent.yaml

• 培訓標準LM

  • 腳本： python train_basic_agent.py
    config： config/train_basic_agent.yaml

• 培訓獎勵模型為基於模型的推出計劃

  • 腳本： python train_constraint_parser.py
    config： config/train_constraint_parser.yaml

評估

• cd scripts/eval

• 模擬評估

  • 腳本： python selfplay_eval.py
    config： config/selfplay_eval.yaml
    
    
    • 結果日誌將保存到配置中的selfplay/outputs_file指定的位置。要打印自我播放的成功率： python compute_results.py --results_file <your_eval_outputs_file>
      
      
    • 注意：默認情況下，自我播放評估將使用計算機上可用的所有GPU。要指定要使用的GPU，請將命令與CUDA_VISIBLE_DEVICES=<comma_seperated_list_of_gpu_indicies>前綴。

• 語言質量評估

  • 腳本： python language_quality_eval.py
    config： config/language_eval.yaml
    
    
    • 要在多個gpus上進行並行評估，請運行： python -m torch.distributed.launch --nproc_per_node <n_GPUs> --use_env language_quality_eval.py