Awesome Diffusion Models for NLP

Modèle de diffusion impressionnante-pour-nlp

? Table des matières

• ? Qu'est-ce que le modèle de diffusion pour la PNL?
• ? Relevés
• Papiers
• ? Ressources
• ? Contribution
  • Contributeurs
  • Reconnaissance

? Quel est le modèle de diffusion pour la PNL?

? Relevés

• Modèles de diffusion dans la génération de texte: une enquête Qiuhua Yi, Xiangfan Chen, Chenwei Zhang, Zehai Zhou, Linan Zhu, Xiangjie Kong. Peerj Computer Science 2024 février

• Un aperçu des modèles de diffusion pour la génération de texte Helena čeović, Marin šilić, Goran Delač, Klemo Vladimir. Mipro 2023 juin

• Une étude des modèles de diffusion dans le traitement du langage naturel Hao Zou, Zae Myung Kim, Dongyeop Kang. Arxiv 2023 mai

• Modèles de diffusion dans la PNL: une enquête Yuansong Zhu, Yu Zhao. Arxiv 2023 mars

• Modèles de diffusion pour la génération de texte non autorégressive: une enquête Yifan Li, Kun Zhou, Wayne Xin Zhao, Ji-Rong Wen. Ijcai 2023 mars

Papiers

• Autonomiser les modèles de diffusion sur l'espace d'incorporation pour la génération de texte Zhujin Gao, Junliang Guo, Xu Tan, Yongxin Zhu, Fang Zhang, Jiang Bian, Linli Xu. NAACL 2024 juin

• Modèles de langage de diffusion masquées simples et efficaces Subham Sekhar Sahoo, Marianne Arriola, Yair Schiff, Aaron Gokaslan, Edgar Marroquin, Justin T Chiu, Alexander Rush, Volodymyr Kuleshov. Arxiv 2024 juin

• Intégration efficace de la diffusion de texte et des modèles de langage pré-formées avec un programme linguistique Easy-First Yimin OU, Ping Jian. Lrec | Coling 2024 mai

• L'élagage temporel à quelques coups accélère des modèles de diffusion pour la génération de texte Bocheng Li, Zhujin Gao, Yongxin Zhu, Kun Yin, Haoyu Cao, Deqiang Jiang, Linli Xu. Lrec | Coling 2024 mai

• LADIC: Les modèles de diffusion sont-ils vraiment inférieurs aux homologues autorégressifs pour la génération d'image à texte? Yuchi Wang, Shuhuai Ren, Rundong Gao, Linli Yao, Qingyan Guo, Kaikai An, Jianhong Bai, Xu Sun. NAACL 2024 avril

• Appliquer la génération de paraphrases via une diffusion latente contrôlable Wei Zou, Ziyuan Zhuang, Shujian Huang, Jia Liu, Jiajun Chen. Arxiv 2024 avril

• Diffuwords: un modèle de diffusion contrastif pour la génération de texte contrainte lexicalement Jinqiao Dai, Pengsen Cheng, Jiamiao Liu, Jiayong Liu. SSRN 2024 avril

• DiffusionDialog: Un modèle de diffusion pour une génération de dialogue diversifiée avec l'espace latent Jianxiang Xiang, Zhenhua Liu, Haodong Liu, Yin Bai, Jia Cheng, Wenliang Chen. Lrec | Coling 2024 avril

• Amélioration du modèle de langage non autorégressif basé sur l'itération avec la sensibilisation au temps, accrochez Jiang, Guoyong CI, Xiaolu Tang. ICPADS 2024 mars

• Langue Flow rectifié: Avocation de la génération de langage de diffusion avec des flux probabilistes Shujian Zhang, Lemeng WU, Chengyue Gong, Xingchao Liu. NAACL 2024 MAR

• Correspondance de flux pour la génération de texte conditionnelle dans quelques étapes d'échantillonnage Vincent Hu, Di Wu, Yuki Asano, Pascal Mettes, Basura Fernando, Björn ommer, Cees Snoek. EACL 2024 MAR

• Utilisation du modèle de diffusion latente pour accélérer la vitesse d'échantillonnage et améliorer la qualité de la génération de texte Chenyang Li, Long Zhang, Qiusheng Zheng. Progrès spéciaux dans l'ingénierie de l'intelligence artificielle 2024 mars

• LDSEQ: Modèles de diffusion latente pour la séquence pour séquencer la génération de texte Yizhou ding, Jidong Tian, ​​Shanxing Mei, Yifan Zhou, Yuwu Dong, Hao He, Weisheng Hu. CSAI 2024 MAR

• Benchmarking Modèles de diffusion pour la traduction automatique Yunus Demirag, Danni Liu, Jan Niehues. EACL 2024 MAR

• Génération, reconstruire et représenter des données discrètes et continues: diffusion généralisée avec Guangyi Liu, Yu Wang, Zhen Feng, Qiyu Wu, Liping Tang, Yuan Gao, Zhen Li, Shuguang Cui, Julian McAuley, Eric P. Xing, Zichao Yang, Zhit Arxiv 2024 février

• TENCDM: Comprendre les propriétés du modèle de diffusion dans l'espace des encodages du modèle de langue Alexander Shabalin, Viacheslav Meshchaninov, Tingir Badmaev, Dmitry Molchanov, Grigory Bartosh, Sergey Markov, Dmitry Vetrov. Arxiv 2024 février

• DIFFUCOMET: Connaissances de bon sens contextuel Diffusion Silin Gao, Mete Ismayilzada, Mengjie Zhao, Hiromi Wakaki, Yuki Mitsufuji, Antoine Bosselut. Arxiv 2024 février

• IPED: Une perspective implicite pour l'extraction triple relationnelle basée sur le modèle de diffusion Jianli Zhao, Changhao Xu, Bin Jiang. NAACL 2024 février

• Rectifions étape par étape: améliorer l'analyse des sentiments basés sur des aspects avec les modèles de diffusion Shunyu Liu, Jie Zhou, Qunxi Zhu, Qin Chen, Qingchun Bai, Jun Xiao, Liang He. Lrec | Coling 2024 février

• Diffusion de texte avec conditionnement renforcé Yuxuan Liu, Tianchi Yang, Shaohan Huang, Zihan Zhang, Haizhen Huang, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang. Arxiv 2024 février

• Vecteurs d'intégration quantifiés pour les modèles de langage de diffusion contrôlables Cheng Kang, Xinye Chen, Yong HU, Daniel Novak. Arxiv 2024 février

• Diffusion des pensées: raisonnement en chaîne de pensées dans les modèles de langage de diffusion Jiacheng Ye, Shansan Gong, Liheng Chen, Lin Zheng, Jiahui Gao, Han Shi, Chuan Wu, Zheguo Li, Wei BI, Lingpeng Kong. Arxiv 2024 février

• Modèles de diffusion d'apprentissage par transfert pour la diffusion de texte Kehang Han, Kathleen Kenealy, Aditya Barua, Noah Fiedel, Noah constant. Arxiv 2024 janvier

• MDM: Modèle de diffusion Meta pour la génération de texte à limite dure Wenjun KE, Yikai Guo, Qi Liu, Wanyi Chen, Peng Wang, Haoran Luo, Zhizhao Luo. Systèmes basés sur les connaissances 2024 janvier

• ROIC-DM: Inférence et classification du texte robuste via le modèle de diffusion Shilong Yuan, Wei Yuan, Hongzhi Yin, Tieke He. Arxiv 2024 janvier

• Diffusion-Exr: Génération de revue contrôlable pour une recommandation explicable via des modèles de diffusion Ling Li, Shaohua Li, Winda Marantika, Alex C. Kot, Huijing Zhan. Arxiv 2023 déc

• IPad: réseau itératif, parallèle et basé sur la diffusion pour la reconnaissance de texte de la scène Xiaomeng Yang, Zhi Qiao, Yu Zhou, Weiping Wang. Arxiv 2023 déc

• Diffuvst: Narrating Scènes de fiction avec des modèles de débroussage guidés par l'histoire mondiale Shengguang Wu, Mei Yuan, Qi Su. EMNLP 2023 Dec

• Diffusions: étiquetage de séquence via le processus de diffusion de balise Ziyang Huang, Pengfei Cao, Jun Zhao, Kang Liu. EMNLP 2023 Dec

• CodeFusion: un modèle de diffusion pré-formé pour la génération de code Mukul Singh, José Cambronero, Sumit Gulwani, Vu le, Carina Negreanu, Gust Verbruggen. EMNLP 2023 octobre

• Modélisation de diffusion discrète en estimant les rapports de la distribution des données Aaron Lou, Chenlin Meng, Stefano Ermon. Arxiv 2023 octobre

• Un cadre graphique pondéré par diffusion pour une nouvelle découverte d'intention Wenkai Shi, Wenbin An, Feng Tian, ​​Qinghua Zheng, Qianying Wang, Ping Chen. EMNLP 2023 octobre

• Scandl: un modèle de diffusion pour générer des chemins de scan synthétiques sur les textes Lena Bolliger, David Reich, Patrick Haller, Deborah Jakobi, Paul Prasse, Lena Jäger. EMNLP 2023 octobre

• Detime: Modélisation de sujets améliorée par diffusion à l'aide de LLM basée sur le coder WEIJIE XU, Wenxiang HU, Fanyou WU, Srinivasan Sengamedu. EMNLP 2023 octobre

• Invite de contexte pour l'extraction d'argument d'événements basée sur la génération avec des modèles de diffusion Lei Luo, Yajing Xu. CIKM 2023 octobre

• DIFFUCOM: Un nouveau modèle de diffusion pour la génération de commentaires Jiamiao Liu, Pengsen Cheng, Jinqiao Dai, Jiayong Liu. Systèmes basés sur les connaissances 2023 octobre

• Infodiffusion: Informations Entropie consciente du processus de diffusion pour la génération de texte non autorégressive Renzhi Wang, Jing Li, Piji Li. EMNLP 2023 octobre

• Ladida: diffusion latente pour la génération de documents avec décodage séquentiel Zihuiwen Ye, Elle Michelle Yang, Phil Blunsom. Atelier des Neirips sur les modèles de diffusion 2023 octobre

• DIFFUSEQ-V2: Bridging Spaces Discrets et Continuous Text pour les modèles de diffusion SEQ2SEQ accélérés Shansan Gong, Mukai Li, Jiangtao Feng, Zhiyong WU, Lingpeng Kong. EMNLP 2023 octobre

• DiffusionRet: Retriever génératif amélioré par diffusion en utilisant le décodage contraint Shanbao Qiao, Xuebing Liu, Seung-Hoon Na. EMNLP 2023 octobre

• Paraguide: paraphrase de diffusion guidée pour le transfert de style textuel plug-and-play Zachary Horvitz, Ajay Patel, Chris Callison-Burch, Zhou Yu, Kathleen McKeown. Aaai 2023 août

• Les modèles de langage de diffusion peuvent effectuer de nombreuses tâches avec la mise à l'échelle et l'instruction-finetun Jiassheng Ye, Zaixiang Zheng, Yu Bao, Lihua Qian, Quanquan Gu. Arxiv 2023 août

• Amélioration de la représentation de la phrase par le processus de diffusion du texte guidé d'informations pour l'extraction de la clés Yuanzhen Luo, Qingyu Zhou, Feng Zhou. Lrec | Coling 2023 août

• Comment la diffusion influence-t-elle les modèles de langue pré-étendue sur les données hors distribution? Huazheng Wang, Daixuan Cheng, Haifeng Sun, Jingyu Wang, Qi Qi, Jianxin Liao, Jing Wang, Cong Liu. Ecai 2023 juil

• XDLM: Modèle de langage de diffusion inter-fineguale pour la traduction automatique Linyao Chen, Aosong Feng, Boming Yang, Zihui Li. Arxiv 2023 juil

• Génération de conversation contrôlable avec structures de conversation via des modèles de diffusion Jiaao Chen, Diyi Yang. ACL 2023 Jul

• PoetryDiffusion: vers une manipulation conjointe sémantique et métrique dans la génération de poésie Zhiyuan Hu, Chumin Liu, Yue Feng, Anh Tuan Luu, Bryan Hooi. AAAI 2023 juin

• Diffudetox: un modèle de diffusion mixte pour la détoxification du texte Griffin Floto, Mohammad Mahdi Abdollah pour, Parsa Farinneya, Zhenwei Tang, Ali Pesaranghader, Manasa Bharadwaj, Scott Sanner. ACL 2023 juin

• Planificateur: Génération d'un paragraphe diversifié via le modèle de diffusion de langage latent Yizhe Zhang, Jiatao GU, Zhuofeng WU, Shuangfei Zhai, Josh Susskind, Navdeep Jaitly. Neirips 2023 juin

• Diffusemp: un cadre basé sur un modèle de diffusion avec un contrôle multi-grain pour la génération de réponse empathique Guanqunun BI, Lei Shen, Yanan Cao, Meng Chen, Yuqiang Xie, Zheng Lin, Xiaodong HE. ACL 2023 juin

• Modèles de langage de diffusion basés sur la probabilité Ishaan Gulrajani, Tatsunori B. Hashimoto. Neirips 2023 mai

• Dior-Cvae: Modèles de langue pré-formés et prieurs de diffusion pour la génération de dialogue variationnelle Tianyu Yang, Thy Thy Tran, Iryna Gurevych. EMNLP 2023 mai

• David aide Goliath: collaboration en temps inférieure entre les petites et grandes diffusion générales LMS Xiaochuang Han, Sachin Kumar, Yulia Tsvetkov, Marjan Ghazvininejad. Arxiv 2023 mai

• Diffusion: Diffusion des limites pour la reconnaissance des entités nommée Yongliang Shen, Kaitao Song, Xu Tan, Dongsheng Li, Weiming Lu, Yueting Zhuang. ACL 2023 mai

• Transfert de style de texte à grain fin avec modèles de langage basés sur la diffusion Yiwei Lyu, Tiang Luo, Jiacheng Shi, Todd Hollon, Honglak Lee. REPL4NLP 2023 mai

• DIFFUSIE: Une architecture d'interaction en spirale pour la diffusion de texte encodeur de la diffusion chao-hong, Jia-Chen GU, Zhen-Hua Ling. Arxiv 2023 mai

• La génération de modèles de langage de diffusion peut être interrompu précoce Sofia Maria Lo Cicero Vaina, Nikita Balagansky, Daniil Gavrilov. Arxiv 2023 mai

• AR-DIFUSION: Modèle de diffusion auto-régressif pour la génération de texte Tong Wu, Zhihao Fan, Xiao Liu, Yeyun Gong, Yelong Shen, Jian Jiao, Hai-Tao Zheng, Juntao Li, Zhongyu Wei, Jian Guo, Nan Duan, Weizhu Chen. Neirips 2023 mai

• Tess: Text-to-texte Simplex Diffusion Simplex Rabeeh Karimi Mahabadi, Hamish Ivison, Jaesung Tae, James Henderson, Iz Beltagy, Matthew Peters, Arman Cohan. EACL 2023 mai

• Le modèle de diffusion peut-il obtenir de meilleures performances dans la génération de texte? Combler l'écart entre la formation et l'inférence! Zecheng Tang, Pinzheng Wang, Keyan Zhou, Juntao Li, Ziqiang Cao, Min Zhang. ACL 2023 mai

• Diffusion-Nat: diffusion discrète auto-réparti pour la génération de texte non autorégressive Kun Zhou, Yifan Li, Xin Zhao, Ji-Rong Wen. EACL 2023 mai

• Diffusum: génération améliorée par extractive avec une diffusion Haopeng Zhang, Xiao Liu, Jiawei Zhang. ACL 2023 mai

• Glyphdiffusion: génération de texte comme génération d'images Junyi Li, Wayne Xin Zhao, Jian-Yun Nie, Ji-Rong Wen. Arxiv 2023 avril

• Un modèle de langage de diffusion moins cher et meilleur avec un bruit à masquage doux Jiaao Chen, Aston Zhang, Mu Li, Alex Smola, Diyi Yang. EMNLP 2023 avril

• Dinoir: Apprentissage par séquence conditionnelle diffus en manipulant les bruits Jiassheng Ye, Zaixiang Zheng, Yu Bao, Lihua Qian, Mingxuan Wang. * Tacl 2023 Feb

• Un modèle de diffusion discrète réparatrisé pour la génération de texte Lin Zheng, Jianbo Yuan, Lei Yu, Lingpeng Kong. Arxiv 2023 février

• Génération de texte avec des modèles de langage de diffusion: une approche pré-formation avec paragraphe continu Denoise Zhenghao Lin, Yeyun Gong, Yelong Shen, Tong Wu, Zhihao Fan, Chen Lin, Nan Duan, Weizhu Chen. ICML 2022 Dec

• SeqDiffuseq: Diffusion de texte avec transformateurs de coder-décodeur Hongyi Yuan, Zheng Yuan, Chuanqi Tan, Fei Huang, Songfang Huang. Arxiv 2022 déc.

• Diffusion latente pour la génération de langue Justin Lovelace, Varsha Kishore, Chao Wan, Eliot Shekhtman, Kilian Q. Weinberger. NEIRIPS 2022 Dec

• Autonomiser les modèles de diffusion sur l'espace d'incorporation pour la génération de texte Zhujin Gao, Junliang Guo, Xu Tan, Yongxin Zhu, Fang Zhang, Jiang Bian, Linli Xu. NAACL 2022 Dec

• Diffusionbert: Amélioration des modèles de langage masqué génératifs avec des modèles de diffusion Zhengfu HE, Tianxiang Sun, Qiong Tang, Kuanning Wang, Xuanjing Huang, Xipeng Qiu. ACL 2022 nov

• Diffusion continue pour les données catégorielles de ponceuse de données, Laurent Sartran, Arman Roshannai, Nikolay Savinov, Yaroslav Ganin, Pierre H. Richemond, Arnaud Doucet, Robin Strudel, Chris Dyer, Conor Durkan, Curtis Hawthorne, Rémi Leblond, Will Grathwohl, Jonas Adler. Arxiv 2022 nov

• Diffusion d'intégration auto-conditionnée pour la génération de texte Robin Strudel, Corentin Tallec, Florent Altché, Yilun DU, Yaroslav Ganin, Arthur Mensch, Will Grathwohl, Nikolay Savinov, Sander Dieman, Laurent Sifre, Rémi Leblond. Arxiv 2022 nov

• SSD-LM: Modèle de langage de diffusion à base de simplex semi-autorégressif pour la génération de texte et le contrôle modulaire Xiaochuang Han, Sachin Kumar, Yulia Tsvetkov. ACL 2022 octobre

• Diffuseur: Diffusion discrète via la reconstruction basée sur l'édition Machel Reid, Vincent J. Hellendoorn, Graham Neubig. Arxiv 2022 octobre

• DIFFUSEQ: GÉNÉRATION DE Texte de séquence à la séquence avec des modèles de diffusion Shansan Gong, Mukai Li, Jiangtao Feng, Zhiyong WU, Lingpeng Kong. ICLR 2022 octobre

• Bits analogiques: générer des données discrètes à l'aide de modèles de diffusion avec l'auto-conditionnement Ting Chen, Ruixiang Zhang, Geoffrey Hinton. ICLR 2022 août

• Contrôles de texte composable dans l'espace latent avec Odes Guangyi Liu, Zeyu Feng, Yuan Gao, Zichao Yang, Xiaodan Liang, Junwei Bao, Xiaodong He, Shuguang Cui, Zhen Li, Zhiting Hu. EMNLP 2022 août

• Modèle basé sur l'énergie de diffusion latente pour la modélisation de texte interprétable Peiyu Yu, Sirui Xie, Xiaojian MA, Baoxiong Jia, Bo Pang, Ruiqi Gao, Yixin Zhu, Song-Chun Zhu, Ying Nian Wu. ICML 2022 juin

• La diffusion-LM améliore la génération de texte contrôlable Xiang Lisa LI, John Shipstun, Ishaan Gulrajani, Percy Liang, Tatsunori B. Hashimoto. Neirips 2022 mai

• Autoencoders de Denoiing non inrôlés pour la génération de texte Nikolay Savinov, Junyoung Chung, Mikolaj Binkowski, Erich Elsen, Aaron van den Oord. ICLR 2021 Dec

• Modèles de diffusion autorégressifs Emiel Hoogeboom, Alexey A. Gritsenko, Jasmijn Bastings, Ben Poole, Rianne van den Berg, Tim Salimans. ICLR 2021 octobre

• Modèles de diffusion de débroussage structurés dans les espaces d'État discrets Jacob Austin, Daniel D. Johnson, Jonathan Ho, Daniel Tarlow, Rianne van den Berg. Neirips 2021 juil

• Argmax Flows et diffusion multinomiale: apprentissage des distributions catégorielles Emiel Hoogeboom, Didrik Nielsen, Priyank Jaini, Patrick Forré, Max Welling. Neirips 2021 février

? Ressources

? Contribution

Contributeurs

Zecheng Tang, Youyuan Zhang, Haolun Wu, Ye Yuan

Contribuant à ce projet

N'hésitez pas à déposer un RP pour avoir contribué à ce projet! Merci beaucoup pour votre aide!

Reconnaissance