pointer_summarizer

Реализация Pytorch Get to Come: суммирование с сетью Gointer-Generator

1. Обучение с генерацией указателя и потерей покрытия включена
2. Обучение с включенной генерацией указателя
3. Как провести обучение
4. Документы с использованием этого кода

Обучение с генерацией указателя и потерей покрытия включена

После обучения по 100 тыс. Итераций с включенной потерей покрытия (размер партии 8)

 ROUGE-1:
rouge_1_f_score: 0.3907 with confidence interval (0.3885, 0.3928)
rouge_1_recall: 0.4434 with confidence interval (0.4410, 0.4460)
rouge_1_precision: 0.3698 with confidence interval (0.3672, 0.3721)

ROUGE-2:
rouge_2_f_score: 0.1697 with confidence interval (0.1674, 0.1720)
rouge_2_recall: 0.1920 with confidence interval (0.1894, 0.1945)
rouge_2_precision: 0.1614 with confidence interval (0.1590, 0.1636)

ROUGE-l:
rouge_l_f_score: 0.3587 with confidence interval (0.3565, 0.3608)
rouge_l_recall: 0.4067 with confidence interval (0.4042, 0.4092)
rouge_l_precision: 0.3397 with confidence interval (0.3371, 0.3420)

Обучение с включенной генерацией указателя

После тренировок по итерациям 500 тыс. (Размер партии 8)

 ROUGE-1:
rouge_1_f_score: 0.3500 with confidence interval (0.3477, 0.3523)
rouge_1_recall: 0.3718 with confidence interval (0.3693, 0.3745)
rouge_1_precision: 0.3529 with confidence interval (0.3501, 0.3555)

ROUGE-2:
rouge_2_f_score: 0.1486 with confidence interval (0.1465, 0.1508)
rouge_2_recall: 0.1573 with confidence interval (0.1551, 0.1597)
rouge_2_precision: 0.1506 with confidence interval (0.1483, 0.1529)

ROUGE-l:
rouge_l_f_score: 0.3202 with confidence interval (0.3179, 0.3225)
rouge_l_recall: 0.3399 with confidence interval (0.3374, 0.3426)
rouge_l_precision: 0.3231 with confidence interval (0.3205, 0.3256)

Как провести обучение:

1. Следуйте инструкции по генерации данных от https://github.com/abisee/cnn-dailymail
2. Запустите start_train.sh, вам может потребоваться изменить некоторые пути и параметры в data_util/config.py
3. Для обучения запустить start_train.sh, для декодирования run start_decode.sh и для оценки run run_eval.sh

Примечание:

• В режиме декодирования партия поиска луча должна иметь только один пример, реплицированный в размере партии https://github.com/atulkum/pointer_summarizer/blob/master/training_ptr_gen/decode.py#l109 https://github.com/atulkum/pointer_summariz

• Он тестируется на Pytorch 0,4 с Python 2.7

• Вам нужно настроить Pyrouge, чтобы получить счет Rouge

Документы с использованием этого кода:

1. Автоматическая программа синтез длинных программ с научным коллектором мусора Neuroips 2018 https://github.com/amitz25/pccoder
2. Автоматическая модификация предложения с фактами AAAI 2020 https://github.com/darsh10/split_encoder_pointer_summarizer
3. Воскресение субмодулярности в нейронной абстрактной суммировании
4. Структсум: суммирование через структурированные представления EACL 2021
5. Концепция сети для абстрактной суммирования EMNLP'2019 https://github.com/wprojectsn/codes
6. Версия PaddlePaddle
7. Абстрактная модель на основе VAE-PGN в многоэтапной архитектуре для суммирования текста Inlg2019
8. Clickbait? Сенсационное генерация заголовок с автоматическим надувным обучением Emnlp'2019 https://github.com/hltchkust/sensational_headline
9. Абстрактный разговорной документ Суммизация с использованием иерархической модели с многоэтапной оптимизацией разнообразия внимания Interspeech 2020
10. Nutribullets Hybrid: многодокументирование здоровья. Суммизация NAACL 2021
11. Корпус очень коротких научных резюме Conll 2020
12. На пути к верности в открытом домене поколение таблицы в тексте от ориентированного на сущность просмотра AAAI 2021
13. CDEVALSUMM: Эмпирическое исследование междоситочного оценки для результатов систем итогов нейронных средств EMNLP2020
14. Исследование SEQ2SEQ для сжатия предложения у вьетнамской Paclic 2020
15. Другие роли имеют значение! Усиление ролевого диалога Суммизация с помощью ролевых взаимодействий ACL 2022