Zemi

Код для бумаги Zemi: Learning Zero-Shot полупараметрические языковые модели из нескольких задач [ACL 2023 выводы]

Подготовьте наборы данных

Инструкции по загрузке предварительно обработанных наборов данных и наборов данных о приготовлении костюмов можно найти здесь

Загрузите контрольные точки

Скачать checkpoints с: https://uofi.box.com/s/wnt6cv7icuir4q3wb2a6viuyklme5dga. Поместите каталоги контрольных точек в checkpoints под zemi/output/p3_finetuning

Установка среды

Установите среду Conda с conda env create -f environment.yml . Запустите accelerate config для конфигурации устройства.

Быстрый старт

Сценарии для воспроизведения основных результатов в таблице 1: Выполнение (полу-) параметрическое многозадачное обучение и оценка с нулевым выстрелом. Подробные инструкции по конфигурациям можно найти здесь. Все сценарии должны быть запускаются под zemi/ . SETUP_ENV.sh будет вызвана в следующих сценариях для настройки переменных ENV. Можно изменить переменные, если не использовать ту же самую и ту же структуру папок, что и настройка выше.

Нет базовой линии августа

• База: bash ./training/no_aug_base.sh
• Большой: bash ./training/no_aug_large.sh

CONCAT BASELINE

• База: bash ./training/concat_base.sh
• Большой: bash ./training/concat_large.sh

FID BASELINE

• База: bash ./training/fid_base.sh
• Большой: bash ./training/fid_large.sh

Zemi

• База: bash ./training/zemi_base.sh
• Большой: bash ./training/zemi_large.sh

Краткое описание исходного кода

• Код для архитектуры модели: zemi/modeling_t5.py из этой строки и zemi/modeling_xattn.py
• Код для многозадачного обучения:
  • Тренась без базовой линии AUG и CONCAT: zemi/multi_task_fine_tune_baseline.py
  • Базовая линия Train FID и Zemi: zemi/multi_task_fine_tune_xattn.py
• Код для оценки с нулевым выстрелом:
  • eval no aug и concat baseline: zemi/eval_original_task_only.py
  • Оценка базовой линии и Zemi: zemi/eval_original_task_only_xattn.py

Визуализация полученных документов

visualization/ содержит примеры полученных документов для каждой задачи. Мы включаем 50 лучших примеров с самыми высокими и самыми низкими показателями BM25 в visualization/top50_highest_score_retrieval_instances и visualization/top50_lowest_score_retrieval_instances . Мы также включаем первые 50 экземпляров для каждого набора данных без повторного порядка в visualization/first50_retrieval_instances .

Цитирование

 @article{wang2022zemi,
  title={Zemi: Learning Zero-Shot Semi-Parametric Language Models from Multiple Tasks},
  author={Wang, Zhenhailong and Pan, Xiaoman and Yu, Dian and Yu, Dong and Chen, Jianshu and Ji, Heng},
  journal={arXiv preprint arXiv:2210.00185},
  year={2022}
}