オープンソースプロンプト学習ツールキットをリリースしました。OpenPromptをご覧ください!
私たちは、彼らの素晴らしい仕事をコミュニティに宣伝したい研究者を強くお勧めします。 (貢献の詳細を参照)
事前に訓練されたモデルの効果的な適応は、さまざまな視点から調査することができます。プロンプトラーニングは、トレーニング手順の組織化とさまざまなタスクの統一に焦点を当てていますが、デルタチューニング(パラメーター効率的な方法)は、事前に訓練されたモデルの特定の最適化から別の方向を提供します。 Deltapapersを確認してください!
事前に訓練された言語モデルのためのプロンプトベースのチューニングに関する必見の論文。ペーパーリストは、主にニングディンとシェンディングフーによってマントされています。最新のアップデートについては、このリポジトリをご覧ください!
これは、大規模な事前訓練モデルのためのプロンプトベースのチューニングに関するペーパーリストです。明示的な分類器を使用する従来の微調整とは異なり、プロンプトベースのチューニングは、事前に訓練されたモデルを使用して、分類または回帰のために事前トレーニングタスクを実行します。
作品の略語。
作業で使用される迅速な学習の観点から重要な機能。
主に研究のタスク。
主に研究の迅速な学習方法の特性を調査しました。
このセクションには、最近の自然言語処理の一般的な傾向を概要(前提条件)モデルを使用した論文が含まれています。
OpenPrompt:プロンプトラーニングのオープンソースフレームワーク。プリプリント。
Ning Ding、Shengding Hu、Weilin Zhao、Yulin Chen、Zhiyuan Liu、Hai-Tao Zheng、Maoson Sun [PDF] [Project]、2021.11
事前に訓練されたモデル:過去、現在、未来。プリプリント。
Xu Han、Zhengyan Zhang、Ning Ding、Yuxian Gu、Xiao Liu、Yuqi Huo、Jiezhong Qiu、Yuan Yao、Ao Zhang、Liang Zhang、WeTao Han、Minlie Huang、Qin Jin、Yanyan Lan、Yang Liu、Zhiyuan 、Xipeng Qiu、Ruihua Song、Jie Tang、Ji-Rong Wen、Jinhui Yuan、Wayne Xin Zhao、Jun Zhu。 [PDF]、2021.6
プリトレイン、プロンプト、および予測:自然言語処理におけるプロンプトメソッドの体系的な調査。プリプリント。
Liu、Pengfei、Weizhe Yuan、Jinlan Fu、Zhengbao Jiang、Hiroaki Hayashi、Graham Neubig。 [PDF] [プロジェクト]、2021.7
自然言語処理のパラダイムシフト。機械インテリジェンスの研究。
Tianxiang Sun、Xiangyang Liu、Xipeng Qiu、Xuanjing Huang [PDF] [Project]、2021.9
このセクションには、迅速な学習パラダイムの有病率に寄与する可能性のあるパイロット作業が含まれています。
NLPのパラメーター効率の高い転送学習。 ICML 2019。
ニール・フールズビー、アンドレイ・ジュルギウ、スタニスロー・ジャストルゼクスキー、ブルーナ・モローン、クエンティン・デ・ララウシルヘ、アンドレア・ゲスムンド、モナ・アタリヤン、シルヴァン・ゲリー。 [PDF]、[プロジェクト]、2019.6
統一されたテキストツーテキスト変圧器を使用した転送学習の限界を調査します。 JMLR。コリン・ラッフェル、ノーム・シャザイヤー、アダム・ロバーツ、キャサリン・リー、シャラン・ナラン、マイケル・マテナ、ヤンキ・サイ、ウェイ・リー、ピーター・J・リュー。 [PDF]、[プロジェクト]。 2019.10。
知識ベースとしての言語モデル? EMNLP 2019。
ファビオ・ペトロニ、ティム・ロックタシェル、パトリック・ルイス、アントン・バクティン、Yuxiang Wu、アレクサンダー・H・ミラー、セバスチャン・リーデル。 [PDF]、[プロジェクト]、2019.9
どの言語モデルが知っているかをどうやって知ることができますか? TACL 2020。
Zhengbao Jiang、Frank F. Xu、Jun Araki、Graham Neubig 。 [PDF]、[Project]、2019.11
言語モデルは、少ないショット学習者です。ニューリップ2020。
トム・B・ブラウン、ベンジャミン・マン、ニック・ライダー、メラニー・サブビア、ジャレッド・カプラン、プラフラ・ダリワル、アービンド・ニーラカンタン、プラナヴ・シャム、ギリッシュ・サストリー、アマンダ・アスケル、サンドヒニ・アガルワル、アリエル・ハーバート・ヴォス、グレッチェン・クルーガー、トム・ヘナイガン、アディヤン、ラメシュ、ダニエル・M・ジーグラー、ジェフリー・ウー、クレメンス・ウィンター、クリストファー・ヘッセ、マーク・チェン、エリック・シグラー、マテウス・リトウィン、スコット・グレイ、ベンジャミン・チェス、ジャック・クラーク、クリストファー・バーナー、サム・マッカンドリッシュ、アレック・ラドフォード、イリヤ・サッツキーバー、ダリオ・アモデイ。 [PDF]、[Webサイト]、2020.5
ADAPROMPT:プロンプトベースのNLPの適応モデルトレーニング
Yulong Chen、Yang Liu、Li Dong、Shuohang Wang、Chenguang Zhu、Michael Zeng、Yue Zhang [PDF]、2022.02
このセクションには、テンプレート、言語化、トレーニングパラダイムなど、プロンプトチューニングの基本的な側面に関する調査が含まれています。
少数のショットテキスト分類と自然言語の推論のために、クローズの質問を悪用します。 EACL 2021。
ティモ・シック、ヒンリッヒ・シュッツェ。 [PDF]、[プロジェクト]、2020.1
重要なのは単なるサイズではありません。小さな言語モデルは、少数の学習者でもあります。 NAACL 2021。
ティモ・シック、ヒンリッヒ・シュッツェ。 [PDF]、[プロジェクト]、2020.9
Autoprompt:自動的に生成されたプロンプトを使用して、言語モデルから知識を引き出します。プリプリント。
テイラー・シン、ヤサマン・ラゼギ、ロバート・L・ローガンIV、エリック・ウォレス、サミャー・シン。 [PDF]、[Webサイト]、2020.10
少数のテキスト分類のラベルとして機能する可能性のある単語を自動的に識別します。 COLING 2020。
ティモ・シック、ヘルムート・シュミット、ヒンリッヒ・シュッツェ。 [PDF]、[プロジェクト]、2020.12
事前に訓練された言語モデルをより良いショット学習者にする。 ACL 2021。
Tianyu Gao、Adam Fisch、Danqi Chen。 [PDF]、[プロジェクト]、2020.12
プレフィックス調整:生成の連続プロンプトの最適化。 ACL 2021。
Xiang Lisa Li、Percy Liang。 [PDF]、[プロジェクト]、2021.1
大規模な言語モデルの迅速なプログラミング:少数のショットパラダイムを超えて。プリプリント。
ラリア・レイノルズ、カイル・マクドネル。 [PDF]、2021.2
パターンの改善と簡素化トレーニング。プリプリント。
Derek Tam、Rakesh R Menon、Mohit Bansal、Shashank Srivastava、Colin Raffel。 [PDF]、2021.3
GPTも理解しています。プリプリント。
Xiao Liu、Yanan Zheng、Zhengxiao du、Ming Ding、Yujie Qian、Zhilin Yang、Jie Tang 。 [PDF]、[プロジェクト]、2021.3
パラメーター効率の高いプロンプトチューニングのスケールの力。プリプリント。
ブライアン・レスター、ラミ・アル・リフー、ノア・コンスタント。 [PDF]、[プロジェクト]、2021.4
尋ねる方法を学ぶ:ソフトプロンプトの混合物でLMSをクエリする。 NAACL 2021。
Guanghui Qin、Jason Eisner。 [PDF] [プロジェクト]、2021.4
事実の調査は[マスク]:学習対想起の学習です。 NAACL 2021。
Zexuan Zhong、Dan Friedman、Danqi Chen。 [PDF]、[プロジェクト]、2021.4
プロンプトとパラメーターの削減:言語モデルを使用したシンプルな少数の学習。プリプリント。
ロバート・L・ローガンIV、イヴァナ・バラジェヴィッチ、エリック・ウォレス、ファビオ・ペトロニ、サミア・シン、セバスチャン・リーデル。 [PDF]、2021.6
ワープ:単語レベルの敵対的な再プログラミング。 ACL 2021。
Karen Hambardzumyan、Hrant Khachatrian、Jonathan May。 [PDF]、[プロジェクト]、2021.6
PTR:テキスト分類のルールを使用した迅速な調整。プリプリント。
Xu Han、Weilin Zhao、Ning Ding、Zhiyuan Liu、Maosong Sun。 [PDF]、2021.5
NSP-BERT:元のトレーニング前タスクを通じてプロンプトベースのゼロショット学習者 - - 次の文の予測
Yi Sun*、Yu Zheng*、Chao Hao、Hangping Qiu 、[PDF]、[Project]、2021.9
Finetuned Languageモデルはゼロショット学習者です。
Ason Wei、Maarten Bosma、Vincent Y. Zhao、Kelvin Guu、Adams Wei Yu、Brian Lester、Nan Du、Andrew M. Dai、Quoc V. Le。 [PDF]、2021.9
PPT:いくつかのショット学習のための事前に訓練されたプロンプトチューニング
Yuxian Gu*、Xu Han*、Zhiyuan Liu、Minlie Huang。 [PDF]、2021.9
微分可能なプロンプトは、事前に訓練された言語モデルにより、より良いショット学習者をより良くします。 ICLR 2022。
Ningyu Zhang、Luoqiu Li、Xiang Chen、Shumin Deng、Zhen BI、Chuanqi Tan、Fei Huang、Huajun Chen。 [PDF]、[プロジェクト]、2021.10
マルチタスクは、トレーニングをプロンプトして、ゼロショットタスクの一般化を可能にします。
Victor Sanh、Albert Webson、Colin Raffel、Stephen H. Bach、Lintang Sutawika、Zaid Alyafeai、Antoine Chaffin、Arnaud Stiegler、Teven Le Scao、Arun Raja、Manan Dey、M Saifal Bari、Canwen XU、Urmish Thakker、Shanya Sharma Sharma、エリザ・シュチェチュラ、テウーン・キム、グンジャン・チャブラニ、ニハル・ナヤック、デバジョティ・ダッタ、ジョナサン・チャン、マイク・ティアン・ジアン・ジャン、ハン・ワン、マッテオ・マニカ、シェン・シェン、ゼン・シン・ヨン、ハーシット・パンディー、レイチェル・ボーデン、トーマス・ワン、トリシャラ・ネーラ・ネーラジ、ジョス・ローゼン、サンティリ、 Thibault Fevry、Jason Alan Fries、Ryan Teehan、Stella Biderman、Leo Gao、Tali Bers、Thomas Wolf、Alexander M. Rush。 [PDF]、2021.10
P-Tuning V2:迅速なチューニングは、スケールやタスク全体で普遍的に微調整することに匹敵する可能性があります。 ACL 2022。
Xiao Liu、Kaixuan Ji、Yicheng Fu、Zhengxiao du、Zhilin Yang、Jie Tang [PDF]、[Project]、2021.10
サービスとしての言語モデルのためのブラックボックスチューニング。 ICML 2022。
Tianxiang Sun、Yunfan Shao、Hong Qian、Xuanjing Huang、Xipeng Qiu [PDF]、[Project]、2022.1
事前に訓練された言語モデルのブラックボックスプロンプト学習。プリプリント。
Shizhe Diao、Xuechun Li、Yong Lin、Zhichao Huang、Tong Zhang [PDF]、2022.1
シンボリック言語のバインディング言語モデル。プリプリント。
Zhoujun Cheng*、Tianbao Xie*、Peng Shi、Chengzu Li、Rahul Nadkarni、Youshi Hu、Caiming Xiong、Dragomir Radev、Mari Ostendorf、Luke Zettlemoyer、Noah A. Smith、Tao Yu [ PDF]、 、2022.10
ChatGPTを使用したプロンプトエンジニアリングを強化するためのプロンプトパターンカタログ。ジュール・ホワイト、クチェン・フー、サム・ヘイズ、マイケル・サンドボーン、カルロス・オレア、ヘンリー・ギルバート、アシュラフ・エルナシャール、ジェシー・スペンサー・スミス、ダグラス・C・シュミット[PDF]、2023.2
このセクションには、迅速な学習方法、迅速な学習が機能する理由、迅速な学習方法のさまざまな特性、迅速な学習方法のリミレーションを含むがこれらに限定されない迅速な学習方法の分析が含まれています。
GPT-3のコンテキスト内の例が良いのは何ですか? 。プリプリント。
jiachang liu、Dinghan Shen、Yizhe Zhang、Bill Dolan、Lawrence Carin、Weizhu Chen 。 [PDF] 2021.1
迅速なデータポイントはいくつの価値がありますか? NAACL 2021。
Teven Le Scao、Alexander M. Rush。 [PDF]、[プロジェクト]、2021.3
表面形式の競争 - なぜ最高の確率の答えが常に正しくないのか。プリプリント。プリプリント。
Ari Holtzman、Peter West、Vered Schwartz、Yejin Choi、Luke Zettlemoyer。 [PDF] [プロジェクト]、2021.4
自然指示:自然言語の指示からの新しいタスクへの一般化のベンチマーク。プリプリント。
Swaroop Mishra、Daniel Khashabi、Chitta Baral、Hannaneh Hajishirzi。 [PDF]、[プロジェクト]、2021.4
幻想的に注文されたプロンプトとそれらを見つける場所:少数のショットプロンプトの注文感度を克服します。プリプリント。
Yao Lu、Max Bartolo、Alastair Moore、Sebastian Riedel、Pontus Stenetorp 。 [PDF] 2021.4
プロンプトに答えるためのメタチューニング言語モデルはより良くなります。プリプリント。
Ruiqi Zhong、Kristy Lee*、Zheng Zhang*、Dan Klein 。 [PDF] 2021.4
言語モデルを使用した真の少数の学習。プリプリント。
イーサン・ペレス、ドゥーウェ・キエラ、キュンギョン・チョー。 [PDF]、[プロジェクト] 2021.5
なぜ除去された言語モデルがダウンストリームタスクに役立つのですか?頭と迅速な調整の分析。プリプリント。
Colin WeiはMichael Xie Tengyu Ma [PDF]、2021.6を歌いました
プロンプトベースのモデルは、プロンプトの意味を本当に理解していますか?プリプリント。
アルバート・ウェブソン、エリー・パブリック。 [PDF]、[プロジェクト] 2021.9
少数のショットプロンプトベースのFinetuningで推論ヒューリスティックを回避します。プリプリント。
Prasetya ajie utama、Nafise Sadat Moosavi、Victor Sanh、Iryna Gurevych。 [PDF]、2021.9
パラメーター効率の高い転送学習の統一ビューに向けて。プリプリント。
Junxian He、Chunting Zhou、Xuezhe MA、Taylor Berg-Kirkpatrick、Graham Neubig。 [PDF]、2021.10
プロンプトチューニングを介して、低次元の内因性タスクサブスペースを探索します。プリプリント。
Yujia Qin、Xiaozhi Wang、Yusheng Su、Yankai Lin、Ning Ding、Zhiyuan Liu、Juanzi Li、Lei Hou、Peng Li、Maosong Sun、Jie Zhou [PDF]
迅速な学習パラダイムの普遍的な脆弱性の調査。 NAACL 2022の調査結果。
Lei Xu、Yangyi Chen、Ganque Cui、Hongcheng Gao、Zhiyuan Liu [PDF]、[Project]
デモンストレーションの役割を再考する:コンテキスト内学習が機能するものは何ですか? ARXIV 2022。
Sewon Min、Xinxi Lyu、Ari Holtzman、Mikel Artetxe、Mike Lewis、Hannaneh Hajishirzi、Luke Zettlemoyer [PDF]、[Project]
パラメーター効率の高いプロンプトチューニングにより、一般化および校正されたニューラルテキストレトリバーが作成されます。プリプリント。
Weng Lam Tam、Xiao Liu、Kaixuan JI、Lilong Xue、Yuxiao Dong、Jiahua Liu、Maodi Hu、Jie Tang [PDF] [Project]
以前のプロンプトを無視する:言語モデルの攻撃技術。 Best Paper Award @ Neurips ML Safety Workshop 2022。
FábioPerez、Ian Ribeiro [PDF] [Project]、2022.11
このセクションには、基本的なプロンプトチューニング方法の改善が含まれています。これには、パフォーマンスを改善するために追加のリソースを使用したり、以前の作業の欠点を作り上げたり、迅速な方法で迅速な調整を行ったりすることに限定されません。
使用前にキャリブレーション:言語モデルのいくつかのショットパフォーマンスを改善します。プリプリント。
トニーZ. Zhao、エリックウォレス、シフェン、ダンクライン、サミャーシン。 [PDF]、[プロジェクト]、2021.2
効率的な(ソフト)Qラーニングを備えたテキスト生成。プリプリント。
Han Guo、Bowen Tan、Zhengzhong Liu、Eric P. Xing、Zhiting Hu。 [PDF]、2021.6
知識豊富なプロンプトチューニング:テキスト分類のために知識を迅速な言葉で組み込む。プリプリント。
Shengding Hu、Ning Ding、Huadong Wang、Zhiyuan Liu、Juanzi Li、Maosong Sun。 [PDF]、[プロジェクト]、2021.8
騒々しいチャネル言語モデルは、少数のショットテキスト分類を求めています。プリプリント。
Sewon Min、Mike Lewis、Hannaneh Hajishirzi、Luke Zettlemoyer。 [PDF]、2021.8
データセットでメタチューニングとプロンプトコレクションによるゼロショット学習の言語モデルの適応。
Ruiqi Zhong、Kristy Lee* Zheng Zhang*、Dan Klein。 [PDF]、2021.9
言語モデルの少数のショット学習のための自己訓練を再検討します。プリプリント。
Yiming Chen、Yan Zhang、Chen Zhang、Grandee Lee、Ran Cheng、Haizhou Li。 [PDF]、2021.10
リスト:Lite Self Trainingは、効率的な少数のショット学習者になります。プリプリント。
Yaqing Wang、Subhabrata Mukherjee、Xiaodong Liu、Jing Gao、Ahmed Hassan Awadallah、Jianfeng Gao。 [PDF]、2021.10
プロンプトベースのいくつかのショットチューニングのためのプロトタイプの言語化。 ACL 2022。
Ganqu Cui、Shengding Hu、Ning Ding、Longtao Huang、Zhiyuan Liu 。 [PDF]、[プロジェクト]、2022.3
BBTV2:純粋なブラックボックスの最適化は、少数のショット学習の勾配降下に匹敵する場合があります。プリプリント。
Tianxiang Sun、Zhengfu He、Hong Qian、Xuanjing Huang、Xipeng Qiu [PDF] [Project]、2022.5
このセクションには、さまざまなNLPタスク用に設計された迅速な学習方法が含まれています。
声を出して考える:動的なコンテキスト生成は、GPT-2のゼロショット推論パフォーマンスを向上させます。プリプリント。
グレゴール・ベッツ、カイル・リチャードソン、クリスチャン・ヴォイト。 [PDF] 2021.3
GPT3MIX:テキスト増強のための大規模な言語モデルの活用。プリプリント。
Kang Min Yoo、Dongju Park、Jaewook Kang、Sangwoo Lee、Woomyeong Park。 [PDF] 2021.4
制約された言語モデルは、少数のショットセマンティックパーサーをもたらします。プリプリント。
リチャード・シン、クリストファー・H・リン、サム・トムソン、チャールズ・チェン、サブロ・ロイ、エマニウル・アントニオス・プラタニオス、アダム・ポールズ、ダン・クライン、ジェイソン・アイズナー、ベンジャミン・ヴァン・ドゥルム。 [PDF] 2021.4
効果的なゼロおよび少ないショットの関係抽出のための言葉による言葉遣いと含意。 EMNLP 2021。
オスカー・サインツ、オイア・ロペス・デ・ラカール、ゴルカ・ラバカ、アンデル・バレンナ、エネコ・アジャー。 [PDF]、2021.4
PADA:目に見えないドメインのプリプリントへの適応のためのプロンプトベースの自己回帰アプローチ。
Eyal Ben-David、Nadav Oved、Roi Reichart。 [PDF] [プロジェクト] 2021.5
きめ細かいエンティティタイピングのプロンプト学習。プリプリント。
Ning Ding、Yulin Chen、Xu Han、Guangwei Xu、Pengjun Xie、Hai-Tao Zheng、Zhiyuan Liu、Juanzi Li、Hong-Gee Kim [PDF]、2021.8
knowprompt:関係抽出のための相乗的最適化を伴う知識を認識します。 www 2022。
Xiang Chen、Xin Xie、Ningyu Zhang、Jiahuan Yan、Shumin Deng、Chuanqi Tan、Fei Huang、Luo SI、Huajun Chen。 。 [PDF]、[プロジェクト]、2021.9
根拠のあるダイアログ生成のためのプロンプトベースの少数の学習を探る。プリプリント。
チュジー・ゼン、ミンリー・ファン。 [PDF]、2021.9
Sentiprompt:センチメントの知識は、アスペクトベースの感情分析のための迅速な調整を強化しました。プリプリント。
Chengxi Li、Feiyu Gao、Jiajun Bu、Lu Xu、Xiang Chen、Yu Gu、Zirui Shao、Qi Zheng、Ningyu Zhang、Yongpan Wang、Zhi Yu。 [PDF] 2021.9
少数のショットNERのテンプレートフリープロンプトチューニング。プリプリント。
Ruotian Ma*、Xin Zhou*、Tao Gui、Yiding Tan、Qi Zhang、Xuanjing Huang。 [PDF]、2021.9
ビジョン言語モデルを促すことを学ぶ。プリプリント。
Kaiyang Zhou、Jingkang Yang、Chen Change Loy、およびZiwei Liu。 [PDF]、2021.9
CPT:事前に訓練されたビジョン言語モデルのカラフルな迅速な調整。プリプリント。
Yuan Yao*、Ao Zhang*、Zhengyan Zhang、Zhiyuan Liu、Tat-Seng Chua、Maosong Sun。 [PDF]、2021.10
MSP:事前に訓練された言語モデルをより良い翻訳者にするためのマルチステージのプロンプト。プリプリント。
Zhixing Tan、Xiangwen Zhang、Shuo Wang、Yang Liu。 [PDF]、2021.10
少ないショットボット:ダイアログシステムのプロンプトベースの学習。プリプリント。
アンドレア・マドット、Zhaojiang Lin、Genta Indra Winata、Pascale Fung [PDF]、2021.10
テキスト生成のための制御プレフィックス。プリプリント。
ジョーダン・クライヴ、クリス・カオ、マレク・レイ。 [PDF]、2021.10
低リソースセマンティック解析のための迅速な調整の力。プリプリント。
Nathan Schucher、Siva Reddy、Harm de Vries。 [PDF]、2021.10
良いプロンプトは、数百万のパラメーターの価値がありますか?ビジョン言語モデルの低リソースプロンプトベースの学習。
ウジョン・ジン、Yu Cheng、Yelong Shen、Weizhu Chen、Xiang Ren。 [PDF]
LIGHTNER:低リソースNERに迅速な関心のある軽量生成フレームワーク。コリング2022。
Xiang Chen、Lei Li、Shumin Deng、Chuanqi Tan、Changliang Xu、Fei Huang、Luo SI、Huajun Chen、Ningyu Zhang。 [PDF]、[プロジェクト]、2021.8
UnifiedSkg:テキスト間言語モデルを使用した統合およびマルチタスク構造化された知識の基礎。
Tianbao Xie*、Chen Henry Wu*、Peng Shi、Ruiqi Zhong、Torsten Scholak、Michihiro Yasunaga、Chien-Sheng Wu、Ming Zhong、Pengcheng Yin、Sida I. Wang、Victor Zhong、Bailin Wang、Chengzu Li ni、Ziyu Yao、Dragomir Radev、 Caiming Xiong、Lingpeng Kong、Rui Zhang、Noah A. Smith、Luke Zettlemoyer、Tao Yu。 [PDF]、[Project]、[Webサイト]、2022.1
少数のショット学習のためのオントロジー強化プロンプトチューニング。 www 2022。
Hongbin Ye、Ningyu Zhang、Shumin Deng、Xiang Chen、Hui Chen、Feiyu Xiong、Xi Chen、Huajun Chen。 [PDF]、2022.1
継続的な学習を促すことを学ぶ。 CVPR 2022。
Zifeng Wang、Zizhao Zhang、Chen-Yu Lee、Han Zhang、Ruoxi Sun、Xiaoqi Ren、Guolong SU、Vincent Perot、Jennifer DY、Tomas Pfister。 [PDF]、[プロジェクト]、2021.12
オープンブック試験としての関係抽出:検索強化プロンプトチューニング。 SIGIR 2022。
Xiang Chen、Lei Li、Ningyu Zhang、Chuanqi Tan、Fei Huang、Luo SI、Huajun Chen。 [PDF]、[プロジェクト]、2022.5
優れた視覚ガイダンスにより、より優れた抽出器が生まれます。マルチモーダルエンティティと関係抽出の階層視覚プレフィックス。 NAACL 2022の調査結果。
Xiang Chen、Ningyu Zhang、Lei Li、Yunzhi Yao、Shumin Deng、Chuanqi Tan、Fei Huang、Luo SI、Huajun Chen。 [PDF]、[プロジェクト]、2022.5
促す一連の思考は、大規模な言語モデルで推論を引き出します。プリプリント2022。
ジェイソン・ウェイ、Xuezhi Wang、Dale Schuurmans、Maarten Bosma、Ed Chi、Quoc Le、Denny Zhou。 [PDF]
自己整合性は、言語モデルの一連の思考推論を改善します。プリプリント2022。
Xuezhi Wang、Jason Wei、Dale Schuurmans、Quoc Le、Ed Chi、Sharan Narang、Aakanksha Chowdhery、Denny Zhou。 [PDF]
大規模な言語モデルはゼロショットの推論です。プリプリント2022。
コジマ、シクシアン・シェーン・グ、マチェル・リード、ユタカ・マツー、ゆきつさ。 [PDF]
最小のプロンプトは、大規模な言語モデルで複雑な推論を可能にします。プリプリント2022。
Denny Zhou、NathanaelSchärli、Le Hou、Jason Wei、Nathan Scales、Xuezhi Wang、Dale Schuurmans、Olivier Bousquet、Quoc Le、Ed Chi。 [PDF]
Maieuticのプロンプト:再帰的な説明を使用した論理的に一貫した推論。プリプリント2022。
ジェフン・ジョン、リアンフイ・チン、ショーン・ウェルック、フェーズ・ブラフマン、チャンドラ・バガヴァトゥラ、ロナン・ル・ブラス、イェジン・チョイ[PDF]
言語モデルをより良い推論者にすることの進歩について。プリプリント2022。
Yifei Li、Zeqi Lin、Shizhuo Zhang、Qiang Fu、Bei Chen、Jian-Guang Lou、Weizhu Chen [PDF]
組成ゼロショット学習のためのソフトプロンプトを構成することを学ぶ。プリプリント2022。
Nihal V. Nayak*、Peilin Yu*、Stephen H. Bach [PDF]、[Project]
暗記からの知識の分解:検索された迅速な学習。ニューリップ2022。
Xiang Chen、Lei Li、Ningyu Zhang、Xiaozhuan Liang、Shumin Deng、Chuanqi Tan、Fei Huang、Luo SI、Huajun Chen。 [PDF]、[プロジェクト]、2022.5
大規模な言語モデルの長さの一般化を調査します。プリプリント2022。
Cem Anil、Yuhuai Wu、Anders Andreassen、Aitor Lewkowycz、Vedant Misra、Vinay Ramasesh、Ambrose Slone、Guy Gur-Ari、Ethan Dyer、Behnam Neyshabur [PDF]
何でも聞いてください:言語モデルを促すための簡単な戦略。プリプリント2022。
Simran Arora、Avanika Narayan、Mayee F. Chen、Laurel Orr、Neel Guha、Kush Bhatia、Ines Chami、Frederic Sala、ChristopherRé [PDF]
言語モデルの組成ギャップを測定して絞り込むプリプリント2022。
Ofir Press、Muru Zhang、Sewon Min、Ludwig Schmidt、Noah A. Smith、Mike Lewis [PDF]
RLPROMPT:補強学習前プレリント2022を使用して、個別のテキストプロンプトを最適化します。
Mingkai Deng、Jianyu Wang、Cheng-Ping Hsieh、Yihan Wang、Han Guo、Tianmin Shu、Meng Song、Eric P. Xing、Zhiting Hu [PDF]
言語モデルのプロンプトを使用した推論:調査プレリント2022。
Shuofei Qiao、Yixin OU、Ningyu Zhang、Xiang Chen、Yunzhi Yao、Shumin Deng、Chuanqi Tan、Fei Huang、Huajun Chen [PDF]
Yujia Qin、Xiachong Feng、Chenglei SI、Tianbao Xie、Muhtasham Oblokulovに紙の推奨について感謝します。
これらすべてをすべて間違えても心配しないでください。私たちはあなたのためにそれらを修正します。ここであなたの素晴らしい仕事を貢献して宣伝してください!
あなたのものではない作品を推奨する場合は、貢献者リストに追加されます(他の貢献者に情報を提供してください)。