CALM Dialogue

การสร้างแบบจำลองภาษาที่รับรู้บริบทสำหรับระบบบทสนทนาที่มุ่งเน้นเป้าหมาย

รหัสอย่างเป็นทางการสำหรับกระดาษ "การสร้างแบบจำลองภาษาที่รับรู้บริบทสำหรับระบบการสนทนาที่มุ่งเน้นเป้าหมาย"

เว็บไซต์โครงการ | arxiv

การตั้งค่า

1. สร้างสภาพแวดล้อม Conda: conda create --name CALM python=3.9.7
2. เปิดใช้งานสภาพแวดล้อม conda: conda activate CALM
3. ข้อกำหนดการติดตั้ง: pip install -r requirements.txt
4. ติดตั้ง pytorch 1.9.0: conda install pytorch==1.9.0 cudatoolkit=11.3 -c pytorch -c conda-forge
5. export PYTHONPATH="$PWD/offline_airdialogue"
6. ดาวน์โหลดจุดตรวจสอบข้อมูลและรุ่นที่ประมวลผลได้ที่นี่ outputs/ โฟลเดอร์มีจุดตรวจสอบสำหรับรุ่นหลักของเราโมเดลที่ได้รับการฝึกฝนและงานของเราบอทลูกค้าของเรา

การฝึกอบรม

(หมายเหตุ: การฝึกอบรมทั้งหมดใช้ WANDB โดยค่าเริ่มต้นคุณสามารถปิดการซิงค์ WANDB ในการกำหนดค่า)

• cd scripts/train

• ในการเรียกใช้การฝึกอบรมแบบ multi-gpu data-parallel บนคำสั่งใด ๆ ด้านล่างแทนที่ python <script_path> ด้วย python -m torch.distributed.launch --nproc_per_node <n_GPUs> --use_env <script_path>

• ความสงบเงียบ
  (สองสายพันธุ์ของฟังก์ชั่นการสูญเสียเสริม)

  • สคริปต์: python train_pretrain_table_agent.py
    config: config/train_pretrain_table_agent.yaml

  • สคริปต์: python train_pretrain_simplified_aux_gpt2.py
    config: config/train_pretrain_simplified_aux_gpt2.yaml

• ฝึกอบรมบอทลูกค้า

  • สคริปต์: python train_customer.py
    config: config/train_customer_bot.yaml

• การฝึกความสงบ
  (สองสายพันธุ์ของฟังก์ชั่นการสูญเสียเสริม)

  • สคริปต์: python train_real_table_agent.py
    config: config/train_real_table_agent.yaml

  • สคริปต์: python train_simplified_aux_gpt2.py
    config: config/train_simplified_aux_agent.yaml

• มาตรฐานการฝึกอบรม LM

  • สคริปต์: python train_basic_agent.py
    config: config/train_basic_agent.yaml

• การฝึกอบรมแบบจำลองรางวัลสำหรับการวางแผนการเปิดตัวแบบจำลอง

  • สคริปต์: python train_constraint_parser.py
    config: config/train_constraint_parser.yaml

การประเมิน

• cd scripts/eval

• การประเมินแบบจำลอง

  • สคริปต์: python selfplay_eval.py
    config: config/selfplay_eval.yaml
    
    
    • บันทึกผลลัพธ์จะถูกบันทึกลงในตำแหน่งที่ระบุโดย selfplay/outputs_file ในการกำหนดค่า ในการพิมพ์อัตราความสำเร็จสำหรับการวิ่งด้วยตนเอง: python compute_results.py --results_file <your_eval_outputs_file>
      
      
    • หมายเหตุ: การประเมินผล SelfPlay จะใช้ GPU ทั้งหมดที่มีอยู่ในเครื่องของคุณ หากต้องการระบุว่า GPU ใดที่จะใช้ให้คำนำหน้าคำสั่งด้วย CUDA_VISIBLE_DEVICES=<comma_seperated_list_of_gpu_indicies>

• การประเมินคุณภาพภาษา

  • สคริปต์: python language_quality_eval.py
    config: config/language_eval.yaml
    
    
    • เพื่อขนานการประเมินผลในหลาย ๆ GPU ให้เรียกใช้: python -m torch.distributed.launch --nproc_per_node <n_GPUs> --use_env language_quality_eval.py