PromptPapers
1.0.0
我们发布了一个开源及时学习工具包，请查看OpenPrompt！
我们强烈鼓励希望将他们出色的工作推广到社区的研究人员提出提出要求以更新论文信息的要求！ （请参阅贡献细节）
可以从不同的角度探究预训练模型的有效适应。及时学习更多地关注培训程序的组织和不同任务的统一，而Delta Tuning（参数有效方法）为预训练模型的特定优化提供了另一个方向。检查Deltapapers！
关于预训练的语言模型的迅速调整的必读论文。纸张清单主要由宁丁和尚丁·胡（Shengding Hu）进行。观看此存储库以获取最新更新！
这是有关大规模预训练语言模型的及时调整的纸质清单。与使用显式分类器的传统微调不同，基于及时的调整直接使用预训练的模型来执行用于分类或回归的训练预训练任务。
作品的缩写。
在工作中使用的及时学习方面的关键功能。
主要探索的工作任务。
主要探索了工作中及时学习方法的属性。
本节包含以下论文，这些论文概述了最近自然语言处理的一般趋势，其中大型（预验证）模型。
OpenPrompt：及时学习的开源框架。预印本。
宁丁，Shengding Hu，Weilin Zhao，Yulin Chen，Zhiyuan Liu，Hai-Tao Zheng，Maoson Sun [PDF] [Project]，2021.11
预训练的模型：过去，现在和未来。预印本。
Xu Han, Zhengyan Zhang, Ning Ding, Yuxian Gu, Xiao Liu, Yuqi Huo, Jiezhong Qiu, Yuan Yao, Ao Zhang, Liang Zhang, Wentao Han, Minlie Huang, Qin Jin, Yanyan Lan, Yang Liu, Zhiyuan Liu, Zhiwu Lu ，Xipeng Qiu，Ruihua Song，Jie Tang，Ji-Rong Wen，Jinhui Yuan，Wayne Xin Zhao，Jun Zhu。 [PDF]，2021.6
预训练，提示和预测：对自然语言处理提示方法的系统调查。预印本。
刘，彭菲，魏兹·元，金兰·富，郑江，hiroaki hayashi和格雷厄姆·诺比格。 [PDF] [Project]，2021.7
自然语言处理的范式转移。机器智能研究。
天Xiang Sun，Xiangyang Liu，Xipeng Qiu，Xuanjing Huang [PDF] [Project]，2021.9
本节包含可能有助于及时学习范式的飞行员作品。
NLP的参数有效传输学习。 ICML 2019。
Neil Houlsby，Andrei Giurgiu，Stanislaw Jastrzebski，Bruna Morrone，Quentin de Laroussilhe，Andrea Gesmundo，Mona Attariyan，Sylvain Gelly 。 [PDF]，[Project]，2019.6
使用统一的文本到文本变压器探索转移学习的限制。 JMLR。 Colin Raffel，Noam Shazeer，Adam Roberts，Katherine Lee，Sharan Narang，Michael Matena，Yanqi Zhou，Wei Li，Peter J. Liu。 [PDF]，[Project]。 2019.10。
语言模型作为知识基础？ EMNLP 2019。
Fabio Petroni，Tim Rocktaschel，Patrick Lewis，Anton Bakhtin，Yuxiang Wu，Alexander H. Miller，Sebastian Riedel。 [PDF]，[Project]，2019.9
我们怎么知道语言模型知道什么？ TACL 2020。
Zhengbao Jiang，Frank F. Xu，Jun Araki，Graham Neubig 。 [PDF]，[Project]，2019.11
语言模型是很少的学习者。神经2020。
汤姆·B·布朗（Tom B.拉梅什，丹尼尔·齐格勒， Jeffrey Wu，Clemens Winter，Christopher Hesse，Mark Chen，Eric Sigler，Mateusz Litwin，Scott Gray，Benjamin Chess，Jack Clark，Christopher Berner，Christopher Berner，Sam McCandlish，Alec Radford，Ilya Sutskever，Dario Amodei。 [PDF]，[网站]，2020.5
适应性：基于及时的NLP的自适应模型培训
Yulong Chen，Yang Liu，Li Dong，Shuohang Wang，Chenguang Zhu，Michael Zeng，Yue Zhang [PDF]，2022.02
本节包含有关及时调整的基本方面的探索，例如模板，语音器，培训范式等。
利用披oo的问题来进行少数拍摄的文本分类和自然语言推断。 EACL 2021。
Timo Schick，HinrichSchütze。 [PDF]，[Project]，2020.1
重要的不只是大小：小语言模型也很少。 NAACL 2021。
Timo Schick，HinrichSchütze。 [PDF]，[Project]，2020.9
自动启动：从具有自动生成的提示的语言模型中汲取知识。预印本。
Taylor Shin，Yasaman Razeghi，Robert L. Logan IV，Eric Wallace，Sameer Singh。 [PDF]，[网站]，2020.10
自动识别可以用作几个弹奏文本分类的标签的单词。殖民地2020。
Timo Schick，Helmut Schmid，HinrichSchütze。 [PDF]，[Project]，2020.12
使预训练的语言模型更好地学习者。 ACL 2021。
Tianyu Gao，Adam Fisch，Danqi Chen。 [PDF]，[Project]，2020.12
前缀调整：优化发电的连续提示。 ACL 2021。
塞安·丽莎·李，珀西·梁。 [PDF]，[Project]，2021.1
及时针对大语言模型的编程：超越少量范式。预印本。
拉里亚·雷诺兹（Laria Reynolds），凯尔·麦克唐纳（Kyle McDonell）。 [PDF]，2021.2
改进和简化模式利用培训。预印本。
Derek Tam，Rakesh R Menon，Mohit Bansal，Shashank Srivastava，Colin Raffel。 [PDF]，2021.3
GPT也明白。预印本。
小刘，Yanan Zheng，Zhengxiao du，Ming ding，Yujie Qian，Zhilin Yang，Jie Tang 。 [PDF]，[Project]，2021.3
参数效果提示调谐的比例力量。预印本。
Brian Lester，Rami al-Rfou，Noah Constant 。 [PDF]，[Project]，2021.4
学习如何提出：用软提示的混合物查询LMS。 NAACL 2021。
广庆，杰森·艾斯纳。 [PDF] [Project]，2021.4
事实探查是[面具]：学习与学习回忆。 NAACL 2021。
Zexuan Zhong，Dan Friedman，Danqi Chen。 [PDF]，[Project]，2021.4
削减提示和参数：使用语言模型的简单几声学习。预印本。
罗伯特·L·洛根（Robert L. [PDF]，2021.6
经线：单词级对抗性重编程。 ACL 2021。
Karen Hambardzumyan，Hrant Khachatrian，Jonathan May。 [PDF]，[Project]，2021.6
PTR：使用文本分类规则提示调整。预印本。
Xu Han，Weilin Zhao，Ning Ding，Zhiyuan Liu，Maosong Sun。 [PDF]，2021.5
NSP-bert：通过原始培训任务 - 基于及时的零摄像员学习者 - 下一个句子预测
yi Sun*，Yu Zheng*，Chao Hao，挂起Qiu ，[PDF]，[Project]，2021.9
填充语言模型是零拍的学习者。
Ason Wei，Maarten Bosma，Vincent Y. Zhao，Kelvin Guu，Adams Wei Yu，Brian Lester，Nan Du，Nan Du，Andrew M. Dai，Quoc V. Le。 [PDF]，2021.9
PPT：预先训练的及时调整以进行几次学习
Yuxian Gu*，Xu Han*，Zhiyuan Liu，Minlie Huang。 [PDF]，2021.9
可区分的提示使预训练的语言模型更好。 ICLR 2022。
Ningyu Zhang，Luoqiu Li，Xiang Chen，Shumin Deng，Zhen Bi，Chuanqi Tan，Fei Huang，Huajun Chen。 [PDF]，[Project]，2021.10
多任务提示训练可以使零击任务概括。
Victor Sanh，Albert Webson，Colin Raffel，Stephen H. Bach，Lintang Sutawika，Zaid Alyafeai，Antoine Chaffin，Arnaud Stiegler，Teven Le Scao，Arun Raja，Manan Dey，Manan Dey，Ma Saiful Bari，MaSaiph泰瓦恩（Taewoon）Eliza Szczechla Kim, Gunjan Chhablani, Nihal Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Wang, Trishala Neeraj, Jos Rozen, Abheesht Sharma ，安德里亚Santilli，Thibault Fevry，Jason Alan Fries，Ryan Teehan，Stella Biderman，Leo Gao，Tali Bers，Thomas Wolf，Alexander M. Rush。 [PDF]，2021.10
p-Tuning V2：及时调整可以与跨量表和任务普遍普遍的填充相提并论。 ACL 2022。
小刘，kaixuan ji，Yicheng Fu，Zhengxiao du，Zhilin Yang，Jie Tang [PDF]，[Project]，2021.10
语言模型的黑盒调整。 ICML 2022。
天xiang sun，Yunfan Shao，Hong Qian，Xuanjing Huang，Xipeng Qiu [PDF]，[Project]，2022.1
黑框促使学习预训练的语言模型。预印本。
Shizhe Diao，Xuechun Li，Yong Lin，Zhichao Huang，Tong Zhang [PDF]，2022.1
用符号语言绑定语言模型。预印本。
Zhoujun Cheng*, Tianbao Xie*, Peng Shi, Chengzu Li, Rahul Nadkarni, Yushi Hu, Caiming Xiong, Dragomir Radev, Mari Ostendorf, Luke Zettlemoyer, Noah A. Smith, Tao Yu [pdf], [project], [website] ，2022.10
及时的模式目录，可通过CHATGPT提高工程。 Jules White，Quchen Fu，Sam Hays，Michael Sandborn，Carlos Olea，Henry Gilbert，Ashraf Elnashar，Jesse Spencer-Smith，Douglas C. Schmidt [PDF]，2023.2
本节包含及时学习方法的分析，包括但不限于及时学习工作，及时学习方法的各种属性，及时学习方法的限制。
是什么使GPT-3的良好的文本示例呢？ 。预印本。
Jiachang Liu，Dinghan Shen，Yizhe Zhang，Bill Dolan，Lawrence Carin，Weizhu Chen 。 [PDF] 2021.1
及时值多少数据点？ NAACL 2021。
Teven Le Scao，Alexander M. Rush。 [PDF]，[Project]，2021.3
表面竞争 - 最高概率答案并不总是正确的。预印本。预印本。
阿里·霍尔茨曼（Ari Holtzman），彼得·韦斯特（Peter West），验证的施瓦茨（Schwartz），Yejin Choi，Luke Zettlemoyer。 [PDF] [Project]，2021.4
自然说明：将自然语言指令对新任务进行基准概括。预印本。
Swaroop Mishra，Daniel Khashabi，Chitta Baral，Hannaneh Hajishirzi。 [PDF]，[Project]，2021.4
井井有条的提示和在哪里找到它们：克服几乎没有弹药的订单灵敏度。预印本。
lu，Max Bartolo，Alastair Moore，Sebastian Riedel，Pontus Stenetorp 。 [PDF] 2021.4
元调整语言模型可以更好地回答提示。预印本。
Ruiqi Zhong，Kristy Lee*，Zheng Zhang*，Dan Klein 。 [PDF] 2021.4
使用语言模型进行真正的几次学习。预印本。
Ethan Perez，Douwe Kiela，Kyunghyun Cho 。 [PDF]，[Project] 2021.5
为什么审慎的语言模型有助于下游任务？对头和及时调整的分析。预印本。
Colin Wei Sang Michael Xie Tengyu MA [PDF]，2021.6
基于及时的模型是否真的了解其提示的含义？预印本。
阿尔伯特·韦伯森（Albert Webson），埃莉·帕维克（Ellie Pavlick）。 [PDF]，[项目] 2021.9
避免在基于几次及时迅速的填充中避免推理启发式方法。预印本。
Prasetya Ajie Utama，Nafise Sadat Moosavi，Victor Sanh，Iryna Gurevych。 [PDF]，2021.9
迈向参数有效传输学习的统一视图。预印本。
Junxian He，Chunting Zhou，Xuezhe MA，Taylor Berg-Kirkpatrick，Graham Neubig。 [PDF]，2021.10
通过及时调整探索低维内在任务子空间。预印本。
Yujia Qin，Siaozhi Wang，Yusheng Su，Yankai Lin，Ning Ding，Zhiyuan Liu，Juanzi Li，Lei Hou，Peng Li，Maosong Sun，Jie Zhou [PDF]
探索基于及时的学习范式的普遍脆弱性。 NAACL 2022的发现。
Lei Xu，Yangyi Chen，Ganqu Cui，Hongcheng Gao，Zhiyuan Liu [PDF]，[Project]
重新思考示威的作用：是什么使秘密学习起作用？ Arxiv 2022。
Sewon Min，Xinxi Lyu，Ari Holtzman，Mikel Artetxe，Mike Lewis，Hannaneh Hajishirzi，Luke Zettlemoyer [PDF]，[Project]
参数效率的及时调整使广义和校准的神经文本回收者。预印本。
Weng Lam Tam，Xiao Liu，Kaixuan JI，Lilong Xue，Yuxiao Dong，Jiahua Liu，Maodi Hu，Jie Tang [PDF] [Project]
忽略以前的提示：语言模型的攻击技术。最佳纸张奖 @ Neurips ML安全研讨会2022。
FábioPerez，Ian Ribeiro [PDF] [Project]，2022.11
本节包含了基本提示调整方法的改进，包括但不限于使用其他资源来改善表演，构成先前工作的缺点或以不明式的方式进行及时调整。
使用前校准：提高语言模型的少量性能。预印本。
Tony Z. Zhao，Eric Wallace，Shi Feng，Dan Klein，Sameer Singh。 [PDF]，[Project]，2021.2
具有高效（软）Q学习的文本生成。预印本。
汉郭，鲍恩·坦，张刘，埃里克·P。 [PDF]，2021.6
知识渊博的及时调整：将知识纳入及时的语言器中进行文本分类。预印本。
Shengding Hu，Ning Ding，Huadong Wang，Zhiyuan Liu，Juanzi Li，Maosong Sun。 [PDF]，[Project]，2021.8
嘈杂的频道语言模型，提示进行几次弹出文本分类。预印本。
Sewon Min，Mike Lewis，Hannaneh Hajishirzi，Luke Zettlemoyer。 [PDF]，2021.8
通过在数据集和及时收集上进行元调整来调整零击学习的语言模型。
Ruiqi Zhong，Kristy Lee* Zheng Zhang*，Dan Klein。 [PDF]，2021.9
重新访问自我训练，以进行几次学习语言模型。预印本。
Yiming Chen，Yan Zhang，Chen Zhang，Grandee Lee，Ran Cheng，Haizhou Li。 [PDF]，2021.10
列表：Lite自我训练使有效的几次学习者。预印本。
Yaqing Wang，Subhabrata Mukherjee，Xiaodong Liu，Jing Gao，Ahmed Hassan Awadallah，Jianfeng Gao。 [PDF]，2021.10
原型语言器，用于及时基于几声调整。 ACL 2022。
Ganqu Cui，Shengding Hu，Ning ding，Longtao Huang，Zhiyuan Liu 。 [PDF]，[Project]，2022.3
BBTV2：纯黑盒优化可以与梯度下降相媲美。预印本。
天xiang sun，Zhengfu He，Hong Qian，Xuanjing Huang，Xipeng Qiu [PDF] [Project]，2022.5
本节包含为各种NLP任务设计的提示学习方法。
大声思考：动态上下文生成改善了GPT-2的零摄影推理性能。预印本。
Gregor Betz，Kyle Richardson，Christian Voigt。 [PDF] 2021.3
GPT3MIX：利用大型语言模型进行文本增强。预印本。
Kang Min Yoo，Dongju Park，Jaewook Kang，Sang-Woo Lee，Woomyeong Park。 [PDF] 2021.4
受限的语言模型产生的语义解析器很少。预印本。
理查德·辛（Richard Shin），克里斯托弗·H·林（Christopher H. [PDF] 2021.4
标记言语和有效的零和少量关系提取。 EMNLP 2021。
Oscar Sainz，Oier Lopez de Lacalle，Gorka Labaka，Ander Barrena，Eneko Agirre。 [PDF]，2021.4
PADA：一种基于及时的自回旋方法，用于适应未见域预印本。
Eyal Ben-David，Nadav Oved，Roi Reichart。 [PDF] [Project] 2021.5
及时学习细粒实体分型。预印本。
Ning ding，Yulin Chen，Xu Han，Guangwei Xu，Pengjun Xie，Hai-Tao Zheng，Zhiyuan Liu，Juanzi Li，Hong-Gee Kim [PDF]，2021.8
知识提示：知识感知的及时调整，并进行协同优化，以提取关系提取。 www 2022。
Xiang Chen，Xin Xie，Ningyu Zhang，Jiahuan Yan，Shumin Deng，Chuanqi Tan，Fei Huang，Luo Si，Huajun Chen。 。 [PDF]，[Project]，2021.9
探索基于迅速的几杆学习，以生成接地对话。预印本。
Chujie Zheng，Minlie Huang。 [PDF]，2021.9
哨兵：情感知识增强了基于方面的情感分析的及时调整。预印本。
Chengxi Li，Feiyu Gao，Jiajun Bu，Lu Xu，Xiang Chen，Yu Gu，Zirui Shao，Qi Zheng，Ningyu Zhang，Yongpan Wang，Zhi yu。 [PDF] 2021.9
无模板提示调整几次。预印本。
Ruotian Ma*，Xin Zhou*，Tao Gui，Yiding Tan，Qi Zhang，Xuanjing Huang。 [PDF]，2021.9
学会提示视觉模型。预印本。
Kaiyang Zhou，Jingkang Yang，Chen Change Loy和Ziwei Liu。 [PDF]，2021.9
CPT：为预训练的视觉语言模型进行彩色及时调整。预印本。
Yuan Yao*，Ao Zhang*，Zhengyan Zhang，Zhiyuan Liu，Tat-Seng Chua，Maosong Sun。 [PDF]，2021.10
MSP：多阶段提示使预训练的语言模型更好地翻译器。预印本。
Zhixing Tan，Xiangwen Zhang，Shuo Wang，Yang Liu。 [PDF]，2021.10
几个射击机器人：对话系统的基于及时的学习。预印本。
Andrea Madotto，Zhaojiang Lin，Genta Indra Winata，Pascale Fung [PDF]，2021.10
控制文本的前缀。预印本。
Jordan Clive，Kris Cao，Marek Rei。 [PDF]，2021.10
迅速调整低资源语义解析的力量。预印本。
Nathan Schucher，Siva Reddy，Harm de Vries。 [PDF]，2021.10
一个好的提示值得数百万参数吗？低资源及时的敏捷学习模型。
Woojeong Jin，Yu Cheng，Yelong Shen，Weizhu Chen，Xiang Ren。 [PDF]
Lightner：一个轻巧的生成框架，对低资源NER的迅速引入。殖民地2022。
Xiang Chen，Lei Li，Shumin Deng，Chuanqi Tan，Changliang Xu，Fei Huang，Luo Si，Huajun Chen，Ningyu Zhang。 [PDF]，[Project]，2021.8
Unifiedskg：统一和多任务结构化知识与文本到文本语言模型接地。
Tianbao Xie*, Chen Henry Wu*, Peng Shi, Ruiqi Zhong, Torsten Scholak, Michihiro Yasunaga, Chien-Sheng Wu, Ming Zhong, Pengcheng Yin, Sida I. Wang, Victor Zhong, Bailin Wang, Chengzu Li, Connor Boyle, Ansong Ni，Ziyu Yao，Dragomir Radev， Caiming Ximing Xiong，Lingpeng Kong，Rui Zhang，Noah A. Smith，Luke Zettlemoyer，Tao Yu。 [PDF]，[Project]，[网站]，2022.1
本体学增强的及时策略，以进行几次学习。 www 2022。
Hongbin Ye，Ningyu Zhang，Shumin Deng，Xiang Chen，Hui Chen，Feiyu Xiong，Xi Chen，Huajun Chen。 [PDF]，2022.1
学会提示持续学习。 CVPR 2022。
Zifeng Wang，Zizhao Zhang，Chen-Yu Lee，Han Zhang，Ruoxi Sun，Xiaoqi Ren，Guolong Su，Vincent Perot，Jennifer Dy，Tomas Pfister。 [PDF]，[Project]，2021.12
关系提取作为开簿检查：检索增强的及时调整。 Sigir 2022。
Xiang Chen，Lei Li，Ningyu Zhang，Chuanqi Tan，Fei Huang，Luo Si，Huajun Chen。 [PDF]，[Project]，2022.5
良好的视觉引导使得更好的提取器：多模式实体和关系提取的分层视觉前缀。 NAACL 2022的发现。
Xiang Chen，Ningyu Zhang，Lei Li，Yunzhi Yao，Shumin Deng，Chuanqi Tan，Fei Huang，Luo Si，Huajun Chen。 [PDF]，[Project]，2022.5
思想链促使人们在大语言模型中引起推理。预印度2022。
Jason Wei，Xuezhi Wang，Dale Schuurmans，Maarten Bosma，Ed Chi，Quoc LE，Denny Zhou。 [PDF]
自洽性改善了语言模型中的思想推理链。预印度2022。
Xuezhi Wang，Jason Wei，Dale Schuurmans，Quoc Le，Ed Chi，Sharan Narang，Aakanksha Chowdhery，Denny Zhou。 [PDF]
大型语言模型是零拍的推理器。预印度2022。
Takeshi Kojima，Shixiang Shane Gu，Machel Reid，Yutaka Matsuo，Yusuke Iwasawa。 [PDF]
最小一是提示可以在大型语言模型中实现复杂的推理。预印度2022。
Denny Zhou，NathanaelSchärli，Le Hou，Jason Wei，Nathan Scales，Xuezhi Wang，Dale Schuurmans，Olivier Bousquet，Quoc Le，Ed Chi。 [PDF]
Maieutic提示：逻辑上一致的推理，并进行递归解释。预印度2022。
Jaehun Jung，Lianhui Qin，Sean Welleck，Faeze Brahman，Chandra Bhagavatula，Ronan Le Bras，Yejin Choi [PDF]
在使语言模型的推动下，更好的推理器。预印度2022。
Yifei Li，Zeqi Lin，Shizhuo Zhang，Qiang Fu，Bei Chen，Jian-Guang Lou，Weizhu Chen [PDF]
学习为组成的零拍学习构成软提示。预印度2022。
Nihal V. Nayak*，Peilin Yu*，Stephen H. Bach [PDF]，[Project]
从记忆中解耦知识：检索提示的及时学习。神经2022。
Xiang Chen，Lei Li，Ningyu Zhang，Xiaozhuan Liang，Shumin Deng，Chuanqi Tan，Fei Huang，Luo SI，Huajun Chen。 [PDF]，[Project]，2022.5
探索大语模型中的长度概括。预印度2022。
Cem Anil，Yuhuai Wu，Anders Andreassen，Aitor Lewkowycz，Vedant Misra，Vinay Ramasesh，Ambrose Slone，Guy Gur-Ari，Ethan Dyer，Behnam Neyshabur [PDF]
问我任何事情：提示语言模型的简单策略。预印度2022。
Simran Arora，Avanika Narayan，Mayee F. Chen，Laurel Orr，Neel Guha，Kush Bhatia，Ines Chami，Frederic Sala，ChristopherRé [PDF]
在语言模型预印度2022中测量和缩小组合差距。
Ofir Press，Muru Zhang，Sewon Min，Ludwig Schmidt，Noah A. Smith，Mike Lewis [PDF]
rlprompt：通过增强学习预印度2022的优化离散文本提示。
Mingkai Deng，Jianyu Wang，Cheng-Ping Hsieh，Yihan Wang，Han Guo，Tianmin Shu，Meng Song，Eric P. Xing，Zhiting Hu [PDF]
语言模型提示推理：调查预印度2022。
Shuofei Qiao，Yixin OU，Ningyu Zhang，Xiang Chen，Yunzhi Yao，Shumin Deng，Chuanqi Tan，Fei Huang，Huajun Chen [PDF]
我们感谢Yujia Qin，Xiachong Feng，Chenglei SI，Tianbao Xie，Muhtasham Bobokulov的论文建议。
不用担心，如果您把所有这些都错了，我们会为您修复它们。只需在这里做出贡献并促进您的出色工作！
如果您推荐了不是您的工作，则将添加到贡献者列表中（请务必在其他贡献者中提供您的信息）。
