llm reasoning tutorial

使用（大）語言模型推理

---

演講

• BHI 2023教程（2023年10月）

• ACL 2023教程（2023年7月）

tldr

• 這兩個教程的一個核心主題是用於提示大型語言模型的一組關鍵技術。結合這些技術會捕獲有關提示LLM的許多最新作品。

---

---

筆記本

• 語言模型：語言模型的概述，重點是GPT-2的架構和操作。包含有關這些模型如何估計單詞序列概率，預測下一個令牌並生成連貫的文本的交互式演示。

• 提示基礎知識：演示很少射擊和零射擊提示。利用OpenAI API，允許使用溫度，停止令牌和最大令牌等參數，觀察它們對語言模型輸出的影響。

• 提示關鍵技術：顯示用於提示語言模型的典型工作流程，包括在提示（直接和經營鏈的提示）之間選擇和解析輸出以進行評估。它還包括memory輔助提示的演示，其中每個步驟都會使用生成的文本更新提示。

其他資源

• 我的有關促使大型語言模型的博客，用於大型語言模型的CMU LTI研討會（2023年4月）。在博客中，我在LLMs作為隨機編譯器之間進行了類比，並提示作為指定任務的高級語言。