我們發布了一個開源及時學習工具包,請查看OpenPrompt!
我們強烈鼓勵希望將他們出色的工作推廣到社區的研究人員提出提出要求以更新論文信息的要求! (請參閱貢獻細節)
可以從不同的角度探究預訓練模型的有效適應。及時學習更多地關注培訓程序的組織和不同任務的統一,而Delta Tuning(參數有效方法)為預訓練模型的特定優化提供了另一個方向。檢查Deltapapers!
關於預訓練的語言模型的迅速調整的必讀論文。紙張清單主要由寧丁和尚丁·胡(Shengding Hu)進行。觀看此存儲庫以獲取最新更新!
這是有關大規模預訓練語言模型的及時調整的紙質清單。與使用顯式分類器的傳統微調不同,基於及時的調整直接使用預訓練的模型來執行用於分類或回歸的訓練預訓練任務。
作品的縮寫。
在工作中使用的及時學習方面的關鍵功能。
主要探索的工作任務。
主要探索了工作中及時學習方法的屬性。
本節包含以下論文,這些論文概述了最近自然語言處理的一般趨勢,其中大型(預驗證)模型。
OpenPrompt:及時學習的開源框架。預印本。
寧丁,Shengding Hu,Weilin Zhao,Yulin Chen,Zhiyuan Liu,Hai-Tao Zheng,Maoson Sun [PDF] [Project],2021.11
預訓練的模型:過去,現在和未來。預印本。
Xu Han, Zhengyan Zhang, Ning Ding, Yuxian Gu, Xiao Liu, Yuqi Huo, Jiezhong Qiu, Yuan Yao, Ao Zhang, Liang Zhang, Wentao Han, Minlie Huang, Qin Jin, Yanyan Lan, Yang Liu, Zhiyuan Liu, Zhiwu Lu ,Xipeng Qiu,Ruihua Song,Jie Tang,Ji-Rong Wen,Jinhui Yuan,Wayne Xin Zhao,Jun Zhu。 [PDF],2021.6
預訓練,提示和預測:對自然語言處理提示方法的系統調查。預印本。
劉,彭菲,魏茲·元,金蘭·富,鄭江,hiroaki hayashi和格雷厄姆·諾比格。 [PDF] [Project],2021.7
自然語言處理的範式轉移。機器智能研究。
天Xiang Sun,Xiangyang Liu,Xipeng Qiu,Xuanjing Huang [PDF] [Project],2021.9
本節包含可能有助於及時學習範式的飛行員作品。
NLP的參數有效傳輸學習。 ICML 2019。
Neil Houlsby,Andrei Giurgiu,Stanislaw Jastrzebski,Bruna Morrone,Quentin de Laroussilhe,Andrea Gesmundo,Mona Attariyan,Sylvain Gelly 。 [PDF],[Project],2019.6
使用統一的文本到文本變壓器探索轉移學習的限制。 JMLR。 Colin Raffel,Noam Shazeer,Adam Roberts,Katherine Lee,Sharan Narang,Michael Matena,Yanqi Zhou,Wei Li,Peter J. Liu。 [PDF],[Project]。 2019.10。
語言模型作為知識基礎? EMNLP 2019。
Fabio Petroni,Tim Rocktaschel,Patrick Lewis,Anton Bakhtin,Yuxiang Wu,Alexander H. Miller,Sebastian Riedel。 [PDF],[Project],2019.9
我們怎麼知道語言模型知道什麼? TACL 2020。
Zhengbao Jiang,Frank F. Xu,Jun Araki,Graham Neubig 。 [PDF],[Project],2019.11
語言模型是很少的學習者。神經2020。
湯姆·B·布朗(Tom B. Ramesh,Daniel M. Ziegler,Jeffrey Wu,Clemens Winter,Christopher Hesse,Mark Chen,Eric Sigler,Mateusz Litwin,Scott Gray,Benjamin Chess,Jack Clark,Christopher Berner,Christopher Berner,Sam McCandlish,Alec Radford,Alec Radford,Ilya Sutskever,Ilya Sutskever,dario Amodei。 [PDF],[網站],2020.5
適應性:基於及時的NLP的自適應模型培訓
Yulong Chen,Yang Liu,Li Dong,Shuohang Wang,Chenguang Zhu,Michael Zeng,Yue Zhang [PDF],2022.02
本節包含有關及時調整的基本方面的探索,例如模板,語音器,培訓範式等。
利用披oo的問題來進行少數拍攝的文本分類和自然語言推斷。 EACL 2021。
Timo Schick,HinrichSchütze。 [PDF],[Project],2020.1
重要的不只是大小:小語言模型也很少。 NAACL 2021。
Timo Schick,HinrichSchütze。 [PDF],[Project],2020.9
自動啟動:從具有自動生成的提示的語言模型中汲取知識。預印本。
Taylor Shin,Yasaman Razeghi,Robert L. Logan IV,Eric Wallace,Sameer Singh。 [PDF],[網站],2020.10
自動識別可以用作幾個彈奏文本分類的標籤的單詞。殖民地2020。
Timo Schick,Helmut Schmid,HinrichSchütze。 [PDF],[Project],2020.12
使預訓練的語言模型更好地學習者。 ACL 2021。
Tianyu Gao,Adam Fisch,Danqi Chen。 [PDF],[Project],2020.12
前綴調整:優化發電的連續提示。 ACL 2021。
塞安·麗莎·李,珀西·梁。 [PDF],[Project],2021.1
及時針對大語言模型的編程:超越少量範式。預印本。
拉里亞·雷諾茲(Laria Reynolds),凱爾·麥克唐納(Kyle McDonell)。 [PDF],2021.2
改進和簡化模式利用培訓。預印本。
Derek Tam,Rakesh R Menon,Mohit Bansal,Shashank Srivastava,Colin Raffel。 [PDF],2021.3
GPT也明白。預印本。
小劉,Yanan Zheng,Zhengxiao du,Ming ding,Yujie Qian,Zhilin Yang,Jie Tang 。 [PDF],[Project],2021.3
參數效果提示調諧的比例力量。預印本。
Brian Lester,Rami al-Rfou,Noah Constant 。 [PDF],[Project],2021.4
學習如何提出:用軟提示的混合物查詢LMS。 NAACL 2021。
廣慶,傑森·艾斯納。 [PDF] [Project],2021.4
事實探查是[面具]:學習與學習回憶。 NAACL 2021。
Zexuan Zhong,Dan Friedman,Danqi Chen。 [PDF],[Project],2021.4
削減提示和參數:使用語言模型的簡單幾聲學習。預印本。
羅伯特·L·洛根(Robert L. [PDF],2021.6
經線:單詞級對抗性重編程。 ACL 2021。
Karen Hambardzumyan,Hrant Khachatrian,Jonathan May。 [PDF],[Project],2021.6
PTR:使用文本分類規則提示調整。預印本。
Xu Han,Weilin Zhao,Ning Ding,Zhiyuan Liu,Maosong Sun。 [PDF],2021.5
NSP-bert:通過原始培訓任務 - 基於及時的零攝像員學習者 - 下一個句子預測
yi Sun*,Yu Zheng*,Chao Hao,掛起Qiu ,[PDF],[Project],2021.9
填充語言模型是零拍的學習者。
Ason Wei,Maarten Bosma,Vincent Y. Zhao,Kelvin Guu,Adams Wei Yu,Brian Lester,Nan Du,Nan Du,Andrew M. Dai,Quoc V. Le。 [PDF],2021.9
PPT:預先訓練的及時調整以進行幾次學習
Yuxian Gu*,Xu Han*,Zhiyuan Liu,Minlie Huang。 [PDF],2021.9
可區分的提示使預訓練的語言模型更好。 ICLR 2022。
Ningyu Zhang,Luoqiu Li,Xiang Chen,Shumin Deng,Zhen Bi,Chuanqi Tan,Fei Huang,Huajun Chen。 [PDF],[Project],2021.10
多任務提示訓練可以使零擊任務概括。
Victor Sanh,Albert Webson,Colin Raffel,Stephen H. Bach,Lintang Sutawika,Zaid Alyafeai,Antoine Chaffin,Arnaud Stiegler,Teven Le Scao,Arun Raja,Manan Dey,Manan Dey,Ma Saiful Bari,MaSaiph Eliza Szczechla, Taewoon Kim, Gunjan Chhablani, Nihal Nayak, Debajyoti Datta, Jonathan Chang, Mike Tian-Jian Jiang, Han Wang, Matteo Manica, Sheng Shen, Zheng Xin Yong, Harshit Pandey, Rachel Bawden, Thomas Wang, Trishala Neeraj, Jos Rozen,Abheesht Sharma,Andrea Santilli,Thibault Fevry,Jason Alan Fries,Ryan Teehan,Stella Biderman,Leo Gao,Tali Bers,Tali Bers,Thomas Wolf,Alexander M. Rush。 [PDF],2021.10
p-Tuning V2:及時調整可以與跨量表和任務普遍普遍的填充相提並論。 ACL 2022。
小劉,kaixuan ji,Yicheng Fu,Zhengxiao du,Zhilin Yang,Jie Tang [PDF],[Project],2021.10
語言模型的黑盒調整。 ICML 2022。
天xiang sun,Yunfan Shao,Hong Qian,Xuanjing Huang,Xipeng Qiu [PDF],[Project],2022.1
黑框促使學習預訓練的語言模型。預印本。
Shizhe Diao,Xuechun Li,Yong Lin,Zhichao Huang,Tong Zhang [PDF],2022.1
用符號語言綁定語言模型。預印本。
Zhoujun Cheng*, Tianbao Xie*, Peng Shi, Chengzu Li, Rahul Nadkarni, Yushi Hu, Caiming Xiong, Dragomir Radev, Mari Ostendorf, Luke Zettlemoyer, Noah A. Smith, Tao Yu [pdf], [project], [website] ,2022.10
及時的模式目錄,可通過CHATGPT提高工程。 Jules White,Quchen Fu,Sam Hays,Michael Sandborn,Carlos Olea,Henry Gilbert,Ashraf Elnashar,Jesse Spencer-Smith,Douglas C. Schmidt [PDF],2023.2
本節包含及時學習方法的分析,包括但不限於及時學習工作,及時學習方法的各種屬性,及時學習方法的限制。
是什麼使GPT-3的良好的文本示例呢? 。預印本。
Jiachang Liu,Dinghan Shen,Yizhe Zhang,Bill Dolan,Lawrence Carin,Weizhu Chen 。 [PDF] 2021.1
及時值多少數據點? NAACL 2021。
Teven Le Scao,Alexander M. Rush。 [PDF],[Project],2021.3
表面競爭 - 最高概率答案並不總是正確的。預印本。預印本。
阿里·霍爾茨曼(Ari Holtzman),彼得·韋斯特(Peter West),驗證的施瓦茨(Schwartz),Yejin Choi,Luke Zettlemoyer。 [PDF] [Project],2021.4
自然說明:將自然語言指令對新任務進行基準概括。預印本。
Swaroop Mishra,Daniel Khashabi,Chitta Baral,Hannaneh Hajishirzi。 [PDF],[Project],2021.4
井井有條的提示和在哪裡找到它們:克服幾乎沒有彈藥的訂單靈敏度。預印本。
lu,Max Bartolo,Alastair Moore,Sebastian Riedel,Pontus Stenetorp 。 [PDF] 2021.4
元調整語言模型可以更好地回答提示。預印本。
Ruiqi Zhong,Kristy Lee*,Zheng Zhang*,Dan Klein 。 [PDF] 2021.4
使用語言模型進行真正的幾次學習。預印本。
Ethan Perez,Douwe Kiela,Kyunghyun Cho 。 [PDF],[Project] 2021.5
為什麼審慎的語言模型有助於下游任務?對頭和及時調整的分析。預印本。
Colin Wei Sang Michael Xie Tengyu MA [PDF],2021.6
基於及時的模型是否真的了解其提示的含義?預印本。
阿爾伯特·韋伯森(Albert Webson),埃莉·帕維克(Ellie Pavlick)。 [PDF],[項目] 2021.9
避免在基於幾次及時迅速的填充中避免推理啟發式方法。預印本。
Prasetya Ajie Utama,Nafise Sadat Moosavi,Victor Sanh,Iryna Gurevych。 [PDF],2021.9
邁向參數有效傳輸學習的統一視圖。預印本。
Junxian He,Chunting Zhou,Xuezhe MA,Taylor Berg-Kirkpatrick,Graham Neubig。 [PDF],2021.10
通過及時調整探索低維內在任務子空間。預印本。
Yujia Qin,Siaozhi Wang,Yusheng Su,Yankai Lin,Ning Ding,Zhiyuan Liu,Juanzi Li,Lei Hou,Peng Li,Maosong Sun,Jie Zhou [PDF]
探索基於及時的學習範式的普遍脆弱性。 NAACL 2022的發現。
Lei Xu,Yangyi Chen,Ganqu Cui,Hongcheng Gao,Zhiyuan Liu [PDF],[Project]
重新思考示威的作用:是什麼使秘密學習起作用? Arxiv 2022。
Sewon Min,Xinxi Lyu,Ari Holtzman,Mikel Artetxe,Mike Lewis,Hannaneh Hajishirzi,Luke Zettlemoyer [PDF],[Project]
參數效率的及時調整使廣義和校準的神經文本回收者。預印本。
Weng Lam Tam,Xiao Liu,Kaixuan JI,Lilong Xue,Yuxiao Dong,Jiahua Liu,Maodi Hu,Jie Tang [PDF] [Project]
忽略以前的提示:語言模型的攻擊技術。最佳紙張獎 @ Neurips ML安全研討會2022。
FábioPerez,Ian Ribeiro [PDF] [Project],2022.11
本節包含了基本提示調整方法的改進,包括但不限於使用其他資源來改善表演,構成先前工作的缺點或以不明式的方式進行及時調整。
使用前校準:提高語言模型的少量性能。預印本。
Tony Z. Zhao,Eric Wallace,Shi Feng,Dan Klein,Sameer Singh。 [PDF],[Project],2021.2
具有高效(軟)Q學習的文本生成。預印本。
漢郭,鮑恩·坦,張劉,埃里克·P。 [PDF],2021.6
知識淵博的及時調整:將知識納入及時的語言器中進行文本分類。預印本。
Shengding Hu,Ning Ding,Huadong Wang,Zhiyuan Liu,Juanzi Li,Maosong Sun。 [PDF],[Project],2021.8
嘈雜的頻道語言模型,提示進行幾次彈出文本分類。預印本。
Sewon Min,Mike Lewis,Hannaneh Hajishirzi,Luke Zettlemoyer。 [PDF],2021.8
通過在數據集和及時收集上進行元調整來調整零擊學習的語言模型。
Ruiqi Zhong,Kristy Lee* Zheng Zhang*,Dan Klein。 [PDF],2021.9
重新訪問自我訓練,以進行幾次學習語言模型。預印本。
Yiming Chen,Yan Zhang,Chen Zhang,Grandee Lee,Ran Cheng,Haizhou Li。 [PDF],2021.10
列表:Lite自我訓練使有效的幾次學習者。預印本。
Yaqing Wang,Subhabrata Mukherjee,Xiaodong Liu,Jing Gao,Ahmed Hassan Awadallah,Jianfeng Gao。 [PDF],2021.10
原型語言器,用於及時基於幾聲調整。 ACL 2022。
Ganqu Cui,Shengding Hu,Ning ding,Longtao Huang,Zhiyuan Liu 。 [PDF],[Project],2022.3
BBTV2:純黑盒優化可以與梯度下降相媲美。預印本。
天xiang sun,Zhengfu He,Hong Qian,Xuanjing Huang,Xipeng Qiu [PDF] [Project],2022.5
本節包含為各種NLP任務設計的提示學習方法。
大聲思考:動態上下文生成改善了GPT-2的零攝影推理性能。預印本。
Gregor Betz,Kyle Richardson,Christian Voigt。 [PDF] 2021.3
GPT3MIX:利用大型語言模型進行文本增強。預印本。
Kang Min Yoo,Dongju Park,Jaewook Kang,Sang-Woo Lee,Woomyeong Park。 [PDF] 2021.4
受限的語言模型產生的語義解析器很少。預印本。
理查德·辛(Richard Shin),克里斯托弗·H·林(Christopher H. [PDF] 2021.4
標記言語和有效的零和少量關係提取。 EMNLP 2021。
Oscar Sainz,Oier Lopez de Lacalle,Gorka Labaka,Ander Barrena,Eneko Agirre。 [PDF],2021.4
PADA:一種基於及時的自迴旋方法,用於適應未見域預印本。
Eyal Ben-David,Nadav Oved,Roi Reichart。 [PDF] [Project] 2021.5
及時學習細粒實體分型。預印本。
Ning ding,Yulin Chen,Xu Han,Guangwei Xu,Pengjun Xie,Hai-Tao Zheng,Zhiyuan Liu,Juanzi Li,Hong-Gee Kim [PDF],2021.8
知識提示:知識感知的及時調整,並進行協同優化,以提取關係提取。 www 2022。
Xiang Chen,Xin Xie,Ningyu Zhang,Jiahuan Yan,Shumin Deng,Chuanqi Tan,Fei Huang,Luo Si,Huajun Chen。 。 [PDF],[Project],2021.9
探索基於迅速的幾桿學習,以生成接地對話。預印本。
Chujie Zheng,Minlie Huang。 [PDF],2021.9
哨兵:情感知識增強了基於方面的情感分析的及時調整。預印本。
Chengxi Li,Feiyu Gao,Jiajun Bu,Lu Xu,Xiang Chen,Yu Gu,Zirui Shao,Qi Zheng,Ningyu Zhang,Yongpan Wang,Zhi yu。 [PDF] 2021.9
無模板提示調整幾次。預印本。
Ruotian Ma*,Xin Zhou*,Tao Gui,Yiding Tan,Qi Zhang,Xuanjing Huang。 [PDF],2021.9
學會提示視覺模型。預印本。
Kaiyang Zhou,Jingkang Yang,Chen Change Loy和Ziwei Liu。 [PDF],2021.9
CPT:為預訓練的視覺語言模型進行彩色及時調整。預印本。
Yuan Yao*,Ao Zhang*,Zhengyan Zhang,Zhiyuan Liu,Tat-Seng Chua,Maosong Sun。 [PDF],2021.10
MSP:多階段提示使預訓練的語言模型更好地翻譯器。預印本。
Zhixing Tan,Xiangwen Zhang,Shuo Wang,Yang Liu。 [PDF],2021.10
幾個射擊機器人:對話系統的基於及時的學習。預印本。
Andrea Madotto,Zhaojiang Lin,Genta Indra Winata,Pascale Fung [PDF],2021.10
控製文本的前綴。預印本。
Jordan Clive,Kris Cao,Marek Rei。 [PDF],2021.10
迅速調整低資源語義解析的力量。預印本。
Nathan Schucher,Siva Reddy,Harm de Vries。 [PDF],2021.10
一個好的提示值得數百萬參數嗎?低資源及時的敏捷學習模型。
Woojeong Jin,Yu Cheng,Yelong Shen,Weizhu Chen,Xiang Ren。 [PDF]
Lightner:一個輕巧的生成框架,對低資源NER的迅速引入。殖民地2022。
Xiang Chen,Lei Li,Shumin Deng,Chuanqi Tan,Changliang Xu,Fei Huang,Luo Si,Huajun Chen,Ningyu Zhang。 [PDF],[Project],2021.8
Unifiedskg:統一和多任務結構化知識與文本到文本語言模型接地。
Tianbao Xie*, Chen Henry Wu*, Peng Shi, Ruiqi Zhong, Torsten Scholak, Michihiro Yasunaga, Chien-Sheng Wu, Ming Zhong, Pengcheng Yin, Sida I. Wang, Victor Zhong, Bailin Wang, Chengzu Li, Connor Boyle, Ansong NI,Ziyu Yao,Dragomir Radev,Caiming Xiong,Lingpeng Kong,Rui Zhang,Noah A. Smith,Luke Zettlemoyer,Tao Yu。 [PDF],[Project],[網站],2022.1
本體學增強的及時策略,以進行幾次學習。 www 2022。
Hongbin Ye,Ningyu Zhang,Shumin Deng,Xiang Chen,Hui Chen,Feiyu Xiong,Xi Chen,Huajun Chen。 [PDF],2022.1
學會提示持續學習。 CVPR 2022。
Zifeng Wang,Zizhao Zhang,Chen-Yu Lee,Han Zhang,Ruoxi Sun,Xiaoqi Ren,Guolong Su,Vincent Perot,Jennifer Dy,Tomas Pfister。 [PDF],[Project],2021.12
關係提取作為開簿檢查:檢索增強的及時調整。 Sigir 2022。
Xiang Chen,Lei Li,Ningyu Zhang,Chuanqi Tan,Fei Huang,Luo Si,Huajun Chen。 [PDF],[Project],2022.5
良好的視覺引導使得更好的提取器:多模式實體和關係提取的分層視覺前綴。 NAACL 2022的發現。
Xiang Chen,Ningyu Zhang,Lei Li,Yunzhi Yao,Shumin Deng,Chuanqi Tan,Fei Huang,Luo Si,Huajun Chen。 [PDF],[Project],2022.5
思想鏈促使人們在大語言模型中引起推理。預印度2022。
Jason Wei,Xuezhi Wang,Dale Schuurmans,Maarten Bosma,Ed Chi,Quoc LE,Denny Zhou。 [PDF]
自洽性改善了語言模型中的思想推理鏈。預印度2022。
Xuezhi Wang,Jason Wei,Dale Schuurmans,Quoc Le,Ed Chi,Sharan Narang,Aakanksha Chowdhery,Denny Zhou。 [PDF]
大型語言模型是零拍的推理器。預印度2022。
Takeshi Kojima,Shixiang Shane Gu,Machel Reid,Yutaka Matsuo,Yusuke Iwasawa。 [PDF]
最小一是提示可以在大型語言模型中實現複雜的推理。預印度2022。
Denny Zhou,NathanaelSchärli,Le Hou,Jason Wei,Nathan Scales,Xuezhi Wang,Dale Schuurmans,Olivier Bousquet,Quoc Le,Ed Chi。 [PDF]
Maieutic提示:邏輯上一致的推理,並進行遞歸解釋。預印度2022。
Jaehun Jung,Lianhui Qin,Sean Welleck,Faeze Brahman,Chandra Bhagavatula,Ronan Le Bras,Yejin Choi [PDF]
在使語言模型的推動下,更好的推理器。預印度2022。
Yifei Li,Zeqi Lin,Shizhuo Zhang,Qiang Fu,Bei Chen,Jian-Guang Lou,Weizhu Chen [PDF]
學習為組成的零拍學習構成軟提示。預印度2022。
Nihal V. Nayak*,Peilin Yu*,Stephen H. Bach [PDF],[Project]
從記憶中解耦知識:檢索提示的及時學習。神經2022。
Xiang Chen,Lei Li,Ningyu Zhang,Xiaozhuan Liang,Shumin Deng,Chuanqi Tan,Fei Huang,Luo SI,Huajun Chen。 [PDF],[Project],2022.5
探索大語模型中的長度概括。預印度2022。
Cem Anil,Yuhuai Wu,Anders Andreassen,Aitor Lewkowycz,Vedant Misra,Vinay Ramasesh,Ambrose Slone,Guy Gur-Ari,Ethan Dyer,Behnam Neyshabur [PDF]
問我任何事情:提示語言模型的簡單策略。預印度2022。
Simran Arora,Avanika Narayan,Mayee F. Chen,Laurel Orr,Neel Guha,Kush Bhatia,Ines Chami,Frederic Sala,ChristopherRé [PDF]
在語言模型預印度2022中測量和縮小組合差距。
Ofir Press,Muru Zhang,Sewon Min,Ludwig Schmidt,Noah A. Smith,Mike Lewis [PDF]
rlprompt:通過增強學習預印度2022的優化離散文本提示。
Mingkai Deng,Jianyu Wang,Cheng-Ping Hsieh,Yihan Wang,Han Guo,Tianmin Shu,Meng Song,Eric P. Xing,Zhiting Hu [PDF]
語言模型提示推理:調查預印度2022。
Shuofei Qiao,Yixin OU,Ningyu Zhang,Xiang Chen,Yunzhi Yao,Shumin Deng,Chuanqi Tan,Fei Huang,Huajun Chen [PDF]
我們感謝Yujia Qin,Xiachong Feng,Chenglei SI,Tianbao Xie,Muhtasham Bobokulov的論文建議。
不用擔心,如果您把所有這些都錯了,我們會為您修復它們。只需在這裡做出貢獻並促進您的出色工作!
如果您推薦了不是您的工作,則將添加到貢獻者列表中(請務必在其他貢獻者中提供您的信息)。