llm reasoning tutorial

（大）言語モデルを使用した推論

---

プレゼンテーション

• BHI 2023チュートリアル（2023年10月）

• ACL 2023チュートリアル（2023年7月）

tldr

• これらの両方のチュートリアルの中心テーマは、大規模な言語モデルを促すための重要なテクニックのセットです。これらの手法を組み合わせることで、LLMSの促進に関する最近の作業の多くが捉えています。

---

---

ノートブック

• 言語モデル：GPT-2のアーキテクチャと操作に焦点を当てた言語モデルの概要。これらのモデルが単語シーケンスの確率を推定する方法のインタラクティブなデモンストレーションには、次のトークンを予測し、コヒーレントテキストを生成します。

• プロンプトの基本：少数のショットとゼロショットのプロンプトを示す。 Openai APIを利用すると、温度、停止トークン、最大トークンなどのパラメーターを使用して、言語モデルの出力への影響を観察できます。

• 重要なテクニックのプロンプト：プロンプト（直接と思考のプロンプト）の選択や評価のための解析など、言語モデルをプロンプトするための典型的なワークフローを示します。また、各ステップで生成されたテキストでプロンプトが更新されるmemoryアシストプロンプトのデモンストレーションも含まれています。

その他のリソース

• 大規模な言語モデルのチュートリアルに使用される大規模な言語モデルの促進に関する私のブログ（2023年4月）。ブログでは、LLMS間の確率的コンパイラとしての類推と、タスクを指定するための高レベルの言語としてプロンプトを作成します。