gdc

Генеративное управление распределением

Генеративное управление распределением (GDC) является общей основой для навязывания ограничений на образцы моделей предварительного языка. Ограничения могут быть либо точкими (например, все образцы должны быть не оскорбительными) или распределения (например, указанный процент образцов должен упомянуть женщин).

Этот репо содержит код, сопровождающий следующие три документа:

• /dpg : распределительный подход к генерации контролируемого текста (ICLR 2021)
• /cdpg : контроль моделей условного языка без катастрофического забывания (ICML 2022)
• /rm_vs_dm : на подкреплении обучения и сопоставления распределения для моделей языков с тонкой настройкой без катастрофического забывания (Neurips 2022)