Awesome Diffusion Models for NLP

Modelos de difusão impressionante para NLP

? Índice

• ? O que é modelo de difusão para PNL?
• ? Pesquisas
• Papéis
• ? Recursos
• ? Contribuição
  • Colaboradores
  • Reconhecimento

? Qual é o modelo de difusão para PNL?

? Pesquisas

• Modelos de difusão na geração de texto: uma pesquisa Qiuhua Yi, Xiangfan Chen, Chenwei Zhang, Zehai Zhou, Linan Zhu, Xiangjie Kong. Peerj Science da computação 2024 fevereiro

• Uma visão geral dos modelos de difusão para a geração de texto Helena Čeović, Marin Šilić, Goran Delač, Klemo Vladimir. Mipro 2023 Jun

• Uma pesquisa de modelos de difusão no processamento de linguagem natural Hao Zou, Zae Myung Kim, Dongyeop Kang. ARXIV 2023 MAIO

• Modelos de difusão em NLP: uma pesquisa Yuansong Zhu, Yu Zhao. ARXIV 2023 MAR

• Modelos de difusão para geração de texto não autorregressiva: uma pesquisa Yifan Li, Kun Zhou, Wayne Xin Zhao, Ji-Rong Wen. IJCAI 2023 MAR

Papéis

• Modelos de difusão capacitadores no espaço de incorporação para a geração de texto Zhujin Gao, Junliang Guo, Xu Tan, Yongxin Zhu, Fang Zhang, Jiang Bian, Linli Xu. NAACL 2024 Junho

• Modelos de linguagem de difusão mascarados simples e eficazes Subham Sekhar Sahoo, Marianne Arriola, Yair Schiff, Aaron Gokaslan, Edgar Marroquin, Justin T Chiu, Alexander Rush, Volodymyr Kuleshov. Arxiv 2024 junho

• Integração eficaz da difusão de texto e modelos de linguagem pré-treinados com o cronograma lingüístico de fácil programação Yimin OU, Ping Jian. LREC | Coling 2024 maio

• A poda temporal de poucas fotos acelera modelos de difusão para geração de texto Bocheng Li, Zhujin Gao, Yongxin Zhu, Kun Yin, Haoyu CAO, Deqiang Jiang, Linli Xu. LREC | Coling 2024 maio

• LADIC: Os modelos de difusão são realmente inferiores a contrapartes autoregressivas para geração de imagem para texto? Yuchi Wang, Shuhuai Ren, Rundong Gao, Linli Yao, Qingyan Guo, Kaikai An, Jianhong Bai, Xu Sun. NAACL 2024 APR

• Exibindo a geração de parafrase via difusão latente controlável Wei Zou, Ziyuan Zhuang, Shujian Huang, Jia Liu, Jiajun Chen. ARXIV 2024 APR

• Diffuwords: Um modelo de difusão contrastiva para geração de texto com restrições lexicamente Jinqiao Dai, Pengsen Cheng, Jiamiao Liu, Jiayong Liu. SSRN 2024 Apr

• DifusãoDialog: Um modelo de difusão para geração de diálogo diversa com espaço latente Jianxiang Xiang, Zhenhua Liu, Haodong Liu, Yin Bai, Jia Cheng, Wenliang Chen. LREC | Coling 2024 Apr

• Melhorando o modelo de linguagem não autorregressiva baseado em iteração com a conscientização da etapa de tempo Hang Jiang, Guoyong Cai, Xiaolu Tang. ICPADS 2024 MAR

• Fluxo retificado da linguagem: Avançando a geração de linguagem de difusão com fluxos probabilísticos Shujian Zhang, Lemeng Wu, Chengyue Gong, Xingchao Liu. NAACL 2024 MAR

• Combinação de fluxo para geração de texto condicional em algumas etapas de amostragem Vincent Hu, Di Wu, Yuki Asano, Pascal Mettes, Basura Fernando, Björn Omer, Cees Snoek. EACL 2024 MAR

• Utilizando o modelo de difusão latente para acelerar a velocidade de amostragem e aprimorar a qualidade da geração de texto Chenyang Li, Long Zhang, Qiusheng Zheng. Avanços de edição especial em engenharia de inteligência artificial 2024 mar

• LDSEQ: Modelos de difusão latente para sequência para sequenciar geração de texto Yizhou Ding, Jidong Tian, ​​Shanxing Mei, Yifan Zhou, Yuwu Dong, Hao He, Weisheng Hu. CSAI 2024 MAR

• Modelos de difusão de benchmarking para tradução de máquinas Yunus Demirag, Danni Liu, Jan Niehues. EACL 2024 MAR

• Gerando, reconstruindo e representando dados discretos e contínuos: difusão generalizada com Guangyi Liu, Yu Wang, Zeyu Feng, Qiyu Wu, Liping Tang, Yuan Gao, Zhen Li, Shuang Cui, Julian McAuley, Iric P. Xing, Zichau, Zichao, Zichao, Zichao, Zichao, Zichao, Zichao. ARXIV 2024 FEV

• TENCDM: Compreendendo as propriedades do modelo de difusão no espaço do modelo de linguagem Alexander Shabalin, Viacheslav Meshchaninov, Tinguir Badmaev, Dmitry Molchanov, Grigory Bartoh, Sergey Markov, Dmitry Vetrov. ARXIV 2024 FEV

• Difcucomet: Difusão contextual do senso comum Silin Gao, Mete Ismayilzada, Mengjie Zhao, Hiromi Wakaki, Yuki Mitsufuji, Antoine Bosselut. ARXIV 2024 FEV

• IPED: Uma perspectiva implícita para extração tripla relacional baseada no modelo de difusão Jianli Zhao, Changhao Xu, Bin Jiang. NAACL 2024 FEV

• Vamos corrigir passo a passo: melhorando a análise de sentimentos baseados em aspectos com modelos de difusão Shunyu Liu, Jie Zhou, Qunxi Zhu, Qin Chen, Qingchun Bai, Jun Xiao, Liang HE. LREC | Coling 2024 fev

• Difusão de texto com condicionamento reforçado Yuxuan Liu, Tianchi Yang, Shaohan Huang, Zihan Zhang, Haizhen Huang, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang. ARXIV 2024 FEV

• Quantized Incorporação de vetores para modelos de linguagem de difusão controláveis ​​Cheng Kang, Xinye Chen, Yong Hu, Daniel Novak. ARXIV 2024 FEV

• Difusão de pensamentos: raciocínio da cadeia de pensamento nos modelos de linguagem de difusão Jiacheng Ye, Shansan Gong, Liheng Chen, Lin Zheng, Jiahui Gao, Han Shi, Chuan Wu, Zhenguo Li, Wei Bi, Lingpeng Kong. ARXIV 2024 FEV

• Transferência de aprendizado para modelos de difusão de texto Kehang Han, Kathleen Kenealy, Aditya Barua, Noah Fiedel, Noah Constant. Arxiv 2024 Jan

• MDM: Modelo de meta difusão para geração de texto com restrição Wenjun KE, Yikai Guo, Qi Liu, Wanyi Chen, Peng Wang, Haoran Luo, Zhizhao Luo. Sistemas baseados no conhecimento 2024 Jan

• ROIC-DM: Inferência e classificação robustas de texto via modelo de difusão Shilong Yuan, Wei Yuan, Hongzhi Yin, Tieke HE. Arxiv 2024 Jan

• Difusão-Exr: geração de revisão controlável para recomendação explicável por meio de modelos de difusão Ling Li, Shaohua LI, Windera Marantika, Alex C. Kot, Huijing Zhan. ARXIV 2023 DEC

• IPad: Rede iterativa, paralela e baseada em difusão para o reconhecimento de texto da cena Xiaomeng Yang, Zhi Qiao, Yu Zhou, Weiping Wang. ARXIV 2023 DEC

• Difvst: Narrando cenas ficcionais com modelos de denoising guiado por história global Shengguang Wu, Mei Yuan, Qi SU. EMNLP 2023 DEC

• Difusionsl: marcação de sequência via processo de difusão de tags Ziyang Huang, Pengfei Cao, Jun Zhao, Kang Liu. EMNLP 2023 DEC

• Codefusion: Um modelo de difusão pré-treinado para geração de código Mukul Singh, José Cambronero, Sumit Gulwani, Vu Le, Carina Negreanu, Gust Verbruggen. EMNLP 2023 OUT

• Modelagem de difusão discreta estimando as proporções da distribuição de dados Aaron Lou, Chenlin Meng, Stefano Ermon. ARXIV 2023 OUT

• Uma estrutura de gráfico ponderada por difusão para a nova descoberta de intenções Wenkai Shi, Wenbin An, Feng Tian, ​​Qinghua Zheng, Qianing Wang, Ping Chen. EMNLP 2023 OUT

• Scandl: Um modelo de difusão para gerar scanns sintéticos nos textos Lena Bolliger, David Reich, Patrick Haller, Deborah Jakobi, Paul Prasse e Lena Jäger. EMNLP 2023 OUT

• DeTime: Modelagem de tópicos aprimorada por difusão usando o LLM Weijie Xu, baseado no codificador, Wenxiang Hu, Fanyou Wu, Srinivasan Sengamedu. EMNLP 2023 OUT

• Prompt de reconhecimento de contexto para extração de argumentos de eventos baseada em geração com modelos de difusão Lei Luo, Yajing Xu. CIKM 2023 OUT

• Difcucom: Um novo modelo de difusão para a geração de comentários Jiamiao Liu, Pengsen Cheng, Jinqiao Dai, Jiayong Liu. Sistemas baseados no conhecimento 2023 OCT

• Infodiffusão: Informação Entropia Ciente do processo de difusão para geração de texto não autorregressiva Renzhi Wang, Jing Li, Piji Li. EMNLP 2023 OUT

• Ladida: Difusão latente para geração de documentos com decodificação seqüencial Zihuiwen Ye, Elle Michelle Yang, Phil Blunsom. Neurips Workshop sobre modelos de difusão 2023 OCT

• Diffuseq-V2: Bridging de espaços de texto discretos e contínuos para modelos acelerados de difusão seq2seq Shansan Gong, Mukai Li, Jiangtao Feng, Zhiyong Wu, Lingpeng Kong. EMNLP 2023 OUT

• DifusionRret: retriever generativo aprimorado por difusão usando decodificação restrita Shanbao Qiao, Xuebing Liu, Seung-Hoon Na. EMNLP 2023 OUT

• Paraguida: Parafrasers de difusão guiada para transferência de estilo textual plug-and-play Zachary Horvitz, Ajay Patel, Chris Callison-Burch, Zhou Yu, Kathleen McKeown. AAAI 2023 AGO

• Os modelos de linguagem de difusão podem executar muitas tarefas com escala e instrução-fineruning Jiasheng Ye, Zaixiang Zheng, Yu Bao, Lihua Qian, Quanquan Gu. Arxiv 2023 agosto

• Melhorando a representação da frase por informação Processo de difusão de texto guiado por gargalos para a extração de keyfrase Yuanzhen Luo, Qingyu Zhou, Feng Zhou. LREC | Coling 2023 agosto

• Como a difusão influencia os modelos de idiomas pré-criados nos dados fora da distribuição? Huazheng Wang, Daixuan Cheng, Haifeng Sun, Jingyu Wang, Qi Qi, Jianxin Liao, Jing Wang, Cong Liu. ECAI 2023 JUL

• XDLM: Modelo de linguagem de difusão transversal para tradução para a máquina Linyao Chen, Aosong Feng, Boming Yang, Zihui Li. ARXIV 2023 JUL

• Geração de conversas controláveis ​​com estruturas de conversação através de modelos de difusão Jiaao Chen, Diyi Yang. ACL 2023 Jul

• Poetrydiffusion: Rumo a manipulação semântica e métrica da articulação na geração de poesia Zhiyuan Hu, Chumin Liu, Yue Feng, Anh Tuan Luu, Bryan Hooi. AAAI 2023 Jun

• Difudo: um modelo de difusão mista para desintoxicação de texto Griffin Floto, Mohammad Mahdi Abdollah Pour, Parsa Farinneya, Zhenwei Tang, Ali Pesaranghader, Manasa Bharadwaj, Scott Sanner. ACL 2023 Jun

• Planejador: Gerando parágrafo diversificado por meio do modelo de difusão de linguagem latente Yizhe Zhang, Jiatao Gu, Zhuofeng Wu, Shuangfei Zhai, Josh Susskind, Navdeep Jaitly. Neurips 2023 Jun

• DiffusEMP: Uma estrutura baseada em modelo de difusão com controle de granulação múltipla para geração de resposta empática Guanqun BI, Lei Shen, Yanan Cao, Meng Chen, Yuqiang Xie, Zheng Lin, Xiaodong HE. ACL 2023 Jun

• Modelos de linguagem de difusão baseados em verossimilhança Ishaan Gulrajani, Tatsunori B. Hashimoto. Neurips 2023 Maio

• Dior-cvae: modelos de linguagem pré-treinados e presos de difusão para geração de diálogo variacional Tianyu Yang, teu Tran, iryna Gurevych. EMNLP 2023 MAIO

• David ajuda Golias: colaboração em tempo de inferência entre pequenos e grandes difusão geral LMS Xiaochuang Han, Sachin Kumar, Yulia Tsvetkov, Marjan Ghazvininejad. ARXIV 2023 MAIO

• Difusão: Difusão de limites para reconhecimento de entidade nomeado Yongliang Shen, Kaitao Song, Xu Tan, Dongsheng Li, Weiming Lu, Yueting Zhuang. ACL 2023 Maio

• Transferência de estilo de texto de granulação com modelos de linguagem baseados em difusão Yiwei Lyu, Tiange Luo, Jiacheng Shi, Todd Hollon, Honglak Lee. Repl4nlp 2023 MAIO

• Difússia: Uma arquitetura de interação em espiral para a difusão de texto do codificador decodificador Chao-Hong Tan, Jia-Chen Gu, Zhen-Hua Ling. ARXIV 2023 MAIO

• A geração de modelos de linguagem de difusão pode ser interrompida em Sofia Maria Vaina, Nikita Balagansky, Daniil Gavrilov. ARXIV 2023 MAIO

• AR-Diffusão: Modelo de difusão auto-regressiva para geração de texto Tong Wu, Zhihao Fan, Xiao Liu, Yeyun Gong, Yelong Shen, Jian Jiao, Hai-Tao Zheng, Juntao Li, Zhongyu Wei, Jian Guo, Nan Duan, Weizhu Chen. Neurips 2023 Maio

• TESS: Difusão Simplex de texto para texto , Rabeeh Karimi Mahabadi, Hamish Ivison, Jaesung Tae, James Henderson, Iz Beltagy, Matthew Peters, Arman Cohan. EACL 2023 MAIO

• O modelo de difusão pode alcançar um melhor desempenho na geração de texto? Ponte a lacuna entre treinamento e inferência! Zecheng Tang, Pinzheng Wang, Keyan Zhou, Juntao Li, Ziqiang Cao, Min Zhang. ACL 2023 Maio

• Difusão-Nat: Difusão discreta auto-criada para geração de texto não autorregressiva Kun Zhou, Yifan Li, Xin Zhao, Ji-Rong Wen. EACL 2023 MAIO

• Diffusum: Geração aumentou o resumo extrativo com difusão Haopeng Zhang, Xiao Liu, Jiawei Zhang. ACL 2023 Maio

• Glyphdiffusion: geração de texto como geração de imagens Junyi Li, Wayne Xin Zhao, Jian-Yun Nie, Ji-Rong Wen. ARXIV 2023 APR

• Um modelo de linguagem de difusão mais barato e melhor com ruído de máscara macia Jiaao Chen, Aston Zhang, Mu Li, Alex Smola, Diyi Yang. EMNLP 2023 Apr

• DINOISER: Aprendizagem de sequência condicional difusa, manipulando ruídos Jiasheng Ye, Zaixiang Zheng, Yu Bao, Lihua Qian, Mingxuan Wang.* Tacl 2023 fev fev.

• Um modelo de difusão discreta reparameterizado para geração de texto Lin Zheng, Jianbo Yuan, Lei Yu, Lingpeng Kong. ARXIV 2023 FEV

• Geração de texto com modelos de linguagem de difusão: uma abordagem de pré-treinamento com parágrafo contínuo Denoise Zhenghao Lin, Yeyun Gong, Yelong Shen, Tong Wu, Zhihao Fan, Chen Lin, Nan Duan, Weizhu Chen. ICML 2022 DEC

• Seqdiffuseq: Difusão de texto com transformadores de codificadores-decodificadores Hongyi Yuan, Zheng Yuan, Chuanqi Tan, Fei Huang, Songfang Huang. ARXIV 2022 DEC

• Difusão latente para geração de idiomas Justin Lovelace, Varsha Kishore, Chao Wan, Eliot Shekhtman, Kilian Q. Weinberger. Neurips 2022 DEC

• Modelos de difusão capacitadores no espaço de incorporação para a geração de texto Zhujin Gao, Junliang Guo, Xu Tan, Yongxin Zhu, Fang Zhang, Jiang Bian, Linli Xu. NAACL 2022 DEC

• Difusão: Melhorando modelos de linguagem mascarada generativa com modelos de difusão Zhengfu He, Tianxiang Sun, Qiong Tang, Kuanning Wang, Xuanjing Huang, XiEng Qiu. ACL 2022 Nov

• Difusão contínua para dados de dados categóricos Dieleman, Laurent Sartran, Arman Roshannai, Nikolay Savinov, Yaroslav Ganin, Pierre H. Richemond, Arnaud Doucet, Robin Strudel, Chris Dyer, Conor Durkan, Curto Hawthorn, Rémiathel. ARXIV 2022 NOV

• Difusão de incorporação auto-condicionada para geração de texto Robin Strudel, Corentin Tallec, Florent Altché, Yilun Du, Yaroslav Ganin, Arthur Mensch, Will Grathwohl, Nikolay Savinov, Sander Dieleman, Laurent Sifre, Rémi Leblond. ARXIV 2022 NOV

• SSD-LM: Modelo de linguagem de difusão semi-autorregressiva baseada em simplex para geração de texto e controle modular Xiaochuang Han, Sachin Kumar, Yulia Tsvetkov. ACL 2022 OUT

• Difusor: difusão discreta via Machel Reid, baseada em edição, Vincent J. Hellendoorn, Graham Neubig. ARXIV 2022 OUT

• Diffuseq: sequência para geração de texto de sequência com modelos de difusão Shansan Gong, Mukai Li, Jiangtao Feng, Zhiyong Wu, Lingpeng Kong. ICLR 2022 out

• Bits analógicos: gerando dados discretos usando modelos de difusão com Ting Chen, Ruixiang Zhang, Geoffrey Hinton. ICLR 2022 agosto

• Controles de texto composíveis no espaço latente com Odes Guangyi Liu, Zeyu Feng, Yuan Gao, Zichao Yang, Xiaodan Liang, Junwei Bao, Xiaodong He, Shuguang Cui, Zhen Li, Zhiting Hu. EMNLP 2022 AUG

• Modelo baseado em energia de difusão latente para modelagem de texto interpretável Peiyu Yu, Sirui Xie, Xiaojian MA, Baoxiong Jia, Bo Pang, Ruiqi Gao, Yixin Zhu, Song-Chun Zhu, Ying Nian Wu. ICML 2022 Jun

• Difusão-LM melhora a geração controlável de texto Xiang Lisa Li, John de Ghirsstun, Ishaan Gulrajani, Percy Liang, Tatsunori B. Hashimoto. Neurips 2022 Maio

• Autoencoders de denoising não controlados para a geração de texto Nikolay Savinov, Junyoung Chung, Mikolaj Binkowski, Erich Elsen e Aaron van den Oord. ICLR 2021 DEC

• Modelos de difusão autoregressiva Emiel Hoogeboom, Alexey A. Gritsenko, Jasmijn Bastings, Ben Poole, Rianne van den Berg, Tim Salimans. ICLR 2021 out

• Modelos de difusão de denoising estruturados em espaços de estado discretos Jacob Austin, Daniel D. Johnson, Jonathan Ho, Daniel Tarlow, Rianne van den Berg. Neurips 2021 Jul

• Fluxos de Argmax e difusão multinomial: Distribuições categóricas de aprendizado Emiel Hoogeboom, Didrik Nielsen, Priyank Jaini, Patrick Forreré, Max Welling. Neurips 2021 fev

? Recursos

? Contribuição

Colaboradores

Zecheng Tang, Youyuan Zhang, Haolun Wu, Ye Yuan

Contribuindo para este projeto

Sinta -se à vontade para registrar um PR por contribuir para este projeto! Muito obrigado pela sua ajuda!

Reconhecimento