プロンプトエンジニアリングは、さまざまなアプリケーションや研究トピックに言語モデル(LMS)を効果的に使用するためのプロンプトを開発および最適化するように設計された比較的新しい分野です。ヒントエンジニアリングスキルは、大規模な言語モデル(LLM)の機能と制限をよりよく理解するのに役立ちます。
迅速なエンジニアリングを使用して、質問や回答や算術の推論など、さまざまな一般的で複雑なタスク、LLMSおよびその他のツールとのインターフェースを備えた堅牢で効果的なプロンプト技術など、LLMSの機能を改善することができます。
LLMの開発への高い関心によって推進されたこのチップエンジニアリングガイドマテリアルのコレクションは、すべての最新の論文、学習ガイド、講義、参照、およびチップエンジニアリングに関連するツールが含まれています。 (当面は3日ごとに更新します)
現在、コンテンツのほとんどはDair-AI(https://github.com/dair-ai/prompt-engineering-guide)から翻訳されています。
Dair-AIノートブックとスライドショーが含まれています。
Dair-Aiの不一致とDair-AiのTwitter
プラットフォーム(推奨)
以下は、Dair-AI開発のためのチップエンジニアリングガイドです。 Dair-AIガイドが開発中です。 (当面は3日ごとに更新します)
ここに、プロンプトエンジニアリングに関する最新の論文があります(リリース日にソート)。これらの論文を毎日更新し、新しい論文を追加します。これらの論文の要約を毎週上記のガイドに追加します。
調査/概要:
テクニック/方法アプローチ/テクニック:
スケーラブルな言語モデル半教師の学習ヒント生成(2023年2月)
迅速な制約により、オープンテキスト生成における大規模な言語モデルの機能の範囲を定義します(2023年2月)
à-la-carteプロンプトチューニング(APT):さまざまなデータを構成可能なヒントを組み合わせる(2023年2月)
GraphPrompt:グラフィカルニューラルネットワークおよびダウンストリームタスクのトレーニング前の統一(2023年2月)
道徳的自己寛容における大規模な言語モデルの能力(2023年2月)
SwitchPrompt:低リソースドメインでの分類学習に固有のゲートエリアのソフトヒント(2023年2月)
離散キューの堅牢性を評価する(2023年2月)
コンテキスト学習の組み合わせ例(2023年2月)
ハードヒントが簡単になります:ヒント調整と発見のための個別のグラデーションベースの最適化(2023年2月)
言語モデルのマルチモーダルチェーン思考の推論(2023年2月)
大規模な言語モデルは、無関係なコンテキストによって簡単に気を散らされます(2023年2月)
合成のヒント:大規模な言語モデルの思考デモを生成する(2023年2月)
プログレッシブヒント:言語モデルの継続的な学習(2023年1月)
バッチ処理のヒント:LLM APIの効率的な推論(2023年1月)
もう一度考えてみてください、段階的に考えないでください!ゼロポイント推論における偏見と毒性(2022年12月)
憲法AI:AIフィードバックからの無害(2022年12月)
継続的なヒント:複雑な問題を解決する(2022年12月)
モデルによって書かれた評価を通じて言語モデルの動作を発見する(2022年12月)
構造のヒント:コンテキスト学習を1,000の例に拡張する(2022年12月)
PAL:プログラム支援言語モデル(2022年11月)
大規模な言語モデルは人間レベルのプロンプトエンジニアです(2022年11月)
前のヒントを無視する:言語モデル攻撃テクノロジー(2022年11月)
機械生成テキスト:脅威モデルと検出方法の包括的な研究(2022年11月)
コンテキスト学習を通じてアルゴリズムの推論を教える(2022年11月)
自然言語の推論を通じて、事前に訓練された言語モデルの自己整合性とパフォーマンスを向上させる(2022年11月)
さりげなく尋ねる:言語モデルを促すための簡単な戦略(2022年10月)
React:言語モデルの調整された推論と行動(2022年10月)
ヒントGPT-3は信頼できます(2022年10月)
分解のヒント:複雑なタスクを解決するためのモジュラー方法(2022年10月)
言語モデルは貪欲な推論者です:思考リンクの体系的なフォーム分析(2022年10月)
手描きの敵対例による事前に訓練された言語モデルの感受性の評価(2022年9月)
PROMPTAGATOR:8つの例(2022年9月)から少量の集中的な検索を入手してください
言語モデルをより良くするように促す推論者(2022年6月)
大規模な言語モデルはゼロポイント推論者(2022年5月)です
MRKLシステム:大規模な言語モデル、外部知識ソース、離散推論を組み合わせたモジュラーニューラルシンボルアーキテクチャ(2022年5月)
プロンプトを生成することによる毒性検出(2022年5月)
テキスト生成のための学習転送のヒント(2022年5月)
少数のヒントを含むテキストの推論指示の信頼性(2022年5月)
テキストからイメージの生成のためのヒント修飾子分類(2022年4月)
プロンプトチャイナー:視覚的なプログラミングを通じて大きな言語モデルのヒントをリンクする(2022年3月)
言語モデルを自己矛盾して改善するためのイデオロギーリンクの推論(2022年3月)
指示を実行するために人間のフィードバックを使用して言語モデルをトレーニングする
デモンストレーションの役割を再検討:コンテキスト学習を成功させるものは何ですか? (2022年2月)
アイデアリンクのヒントは、大規模な言語モデルの推論を提起します(2022年1月)
あなたの作品を紹介する:言語モデルを使用した中間コンピューティングのための一時的な登録(2021年11月)
知識の生成ヒントに基づく常識推論(2021年10月)
マルチタスクプロンプトトレーニングは、ゼロシューティングタスクの一般化を達成できます(2021年10月)
GPTKの言語に適応するためのリファクタリング命令プロンプト(2021年9月)
テキストから画像の生成モデルの設計ガイドライン(2021年9月)
事前に保護された言語モデルをより良いサンプルのない学習者にする(2021年8月)
魔法のようなプロンプトとその場所:少数のプロンプトシーケンス感度を克服する(2021年4月)
バーテス:バートと話すことを学ぶ(2021年4月)
有効なパラメーターを使用したスケール調整の力(2021年4月)
大規模な言語モデル向けのヒントプログラミング:少数のヒントパラダイムを超えて(2021年2月)
事前使用キャリブレーション:言語モデルの小さなサンプルパフォーマンスを改善する(2021年2月)
プレフィックス調整:生成の連続プロンプトを最適化する(2021年1月)
Autoprompt:自動的に生成されたプロンプト(2020年10月)からの言語モデルからの迅速な知識
言語モデルは小さな学習者です(2020年5月)
言語モデルが知っていることをどのようにして知ることができますか? (2020年7月)
アプリケーション:
コレクション:
何かが欠けていると思われる場合は、PRを提出してください。フィードバックと提案も大歓迎です。