llm reasoning tutorial

Argumentation mit (großen) Sprachmodellen

---

Präsentationen

• BHI 2023 Tutorial (Okt. 2023)

• ACL 2023 Tutorial (Juli 2023)

TLDR

• Ein zentrales Thema dieser beiden Tutorials ist eine Reihe von Schlüsseltechniken, um Großsprachmodelle zu veranlassen. Die Kombination dieser Techniken erfasst viele der jüngsten Werke zum Auffordern von LLMs.

---

---

Notizbücher

• Sprachmodelle: Ein Überblick über Sprachmodelle, der sich auf die Architektur und den Betrieb von GPT-2 konzentriert. Enthält interaktive Demonstrationen, wie diese Modelle Wortsequenzwahrscheinlichkeiten schätzen, die nächsten Token vorhersagen und kohärenten Text erzeugen.

• Basics auffordern: Demonstriert nur wenige Schuss- und Null-Shot-Aufforderung. Durch die Verwendung der OpenAI -API ermöglicht das Spielen mit Parametern wie Temperatur, Stopp -Token und maximale Token, wodurch ihre Auswirkungen auf Sprachmodellausgänge beobachtet werden.

• Aufmerksamkeit von Schlüsseltechniken: Zeigt einen typischen Workflow für die Aufforderung von Sprachmodellen an, einschließlich der Auswahl zwischen Eingabeaufforderungen (direkten und kettendenkenden Eingabeaufforderungen) und Parsing-Ausgängen für die Bewertung. Es enthält auch eine Demonstration des memory unterstützten Aufforderung, bei dem die Eingabeaufforderung in jedem Schritt mit dem generierten Text aktualisiert wird.

Andere Ressourcen

• Mein Blog über die Aufforderung zu großer Sprachmodellen, die für ein Tutorial beim CMU LTI -Seminar zu großsprachigen Modellen (April 2023) verwendet wird. Im Blog zeichne ich eine Analogie zwischen LLMs als stochastische Compiler und die Aufforderung als Sprache auf hoher Ebene zur Angabe von Aufgaben.