CALM Dialogue

Pemodelan bahasa yang sadar konteks untuk sistem dialog yang berorientasi pada tujuan

Kode resmi untuk makalah "Pemodelan Bahasa Sadar Konteks untuk Sistem Dialog Berorientasi Sasaran"

Situs Proyek | arxiv

Pengaturan

1. Buat Lingkungan Conda: conda create --name CALM python=3.9.7
2. Aktifkan Lingkungan Conda: conda activate CALM
3. Instal Persyaratan: pip install -r requirements.txt
4. Instal Pytorch 1.9.0: conda install pytorch==1.9.0 cudatoolkit=11.3 -c pytorch -c conda-forge
5. export PYTHONPATH="$PWD/offline_airdialogue"
6. Unduh data yang diproses dan model pos pemeriksaan di sini. outputs/ folder berisi pos pemeriksaan untuk model utama kami, model pretrained tugas kami, dan bot pelanggan kami.

Pelatihan

(Catatan: Semua pelatihan berjalan menggunakan wandb secara default, Anda dapat mematikan sinkronisasi wandb di konfigurasi.)

• cd scripts/train

• Untuk menjalankan pelatihan multi-GPU data-paralel, pada salah satu perintah di bawah ini menggantikan python <script_path> dengan python -m torch.distributed.launch --nproc_per_node <n_GPUs> --use_env <script_path> .

• Pretraining tenang
  (Dua varian fungsi kerugian tambahan)

  • Script: python train_pretrain_table_agent.py
    Config: config/train_pretrain_table_agent.yaml

  • Script: python train_pretrain_simplified_aux_gpt2.py
    Config: config/train_pretrain_simplified_aux_gpt2.yaml

• Melatih bot pelanggan

  • Script: python train_customer.py
    Config: config/train_customer_bot.yaml

• Pelatihan Tenang
  (Dua varian fungsi kerugian tambahan)

  • Script: python train_real_table_agent.py
    Config: config/train_real_table_agent.yaml

  • Script: python train_simplified_aux_gpt2.py
    Config: config/train_simplified_aux_agent.yaml

• Pelatihan Standar LM

  • Skrip: python train_basic_agent.py
    Config: config/train_basic_agent.yaml

• Melatih model hadiah untuk perencanaan peluncuran berbasis model

  • Script: python train_constraint_parser.py
    Config: config/train_constraint_parser.yaml

Mengevaluasi

• cd scripts/eval

• Evaluasi simulasi

  • Skrip: python selfplay_eval.py
    Config: config/selfplay_eval.yaml
    
    
    • Log hasil akan disimpan ke lokasi yang ditentukan oleh selfplay/outputs_file di konfigurasi. Untuk mencetak tingkat keberhasilan untuk menjalankan mandiri: python compute_results.py --results_file <your_eval_outputs_file>
      
      
    • Catatan: Evaluasi mandiri akan secara default menggunakan semua GPU yang tersedia di mesin Anda. Untuk menentukan GPU mana yang akan digunakan, awalkan perintah dengan CUDA_VISIBLE_DEVICES=<comma_seperated_list_of_gpu_indicies>

• Evaluasi Kualitas Bahasa

  • Script: python language_quality_eval.py
    Config: config/language_eval.yaml
    
    
    • Untuk memparalelkan evaluasi di beberapa gpus, jalankan: python -m torch.distributed.launch --nproc_per_node <n_GPUs> --use_env language_quality_eval.py