llm reasoning tutorial

使用（大）语言模型推理

---

演讲

• BHI 2023教程（2023年10月）

• ACL 2023教程（2023年7月）

tldr

• 这两个教程的一个核心主题是用于提示大型语言模型的一组关键技术。结合这些技术会捕获有关提示LLM的许多最新作品。

---

---

笔记本

• 语言模型：语言模型的概述，重点是GPT-2的架构和操作。包含有关这些模型如何估计单词序列概率，预测下一个令牌并生成连贯的文本的交互式演示。

• 提示基础知识：演示很少射击和零射击提示。利用OpenAI API，允许使用温度，停止令牌和最大令牌等参数，观察它们对语言模型输出的影响。

• 提示关键技术：显示用于提示语言模型的典型工作流程，包括在提示（直接和经营链的提示）之间选择和解析输出以进行评估。它还包括memory辅助提示的演示，其中每个步骤都会使用生成的文本更新提示。

其他资源

• 我的有关促使大型语言模型的博客，用于大型语言模型的CMU LTI研讨会（2023年4月）。在博客中，我在LLMs作为随机编译器之间进行了类比，并提示作为指定任务的高级语言。