llm reasoning tutorial

Razonamiento con modelos de idiomas (grandes)

---

Presentaciones

• Tutorial BHI 2023 (octubre de 2023)

• Tutorial de ACL 2023 (julio de 2023)

TLDR

• Un tema central de ambos tutoriales es un conjunto de técnicas clave para impulsar modelos de idiomas grandes. La combinación de estas técnicas captura muchos de los trabajos recientes para impulsar los LLM.

---

---

Cuadernos

• Modelos de idiomas: una descripción general de los modelos de idiomas, centrándose en la arquitectura y operación de GPT-2. Contiene demostraciones interactivas de cómo estos modelos estiman las probabilidades de secuencia de palabras, predicen los siguientes tokens y generan texto coherente.

• Involucrar conceptos básicos: demuestra pocos disparos y indicadores de disparo cero. Utilizando la API de OpenAI, permite jugar con parámetros como la temperatura, los tokens de parada y los tokens máximos, observando su impacto en las salidas del modelo de lenguaje.

• Involucrar técnicas clave: muestra un flujo de trabajo típico para solicitar modelos de lenguaje, incluida la elección entre indicaciones (indicaciones directas y de cadena de pensamiento) y salidas de análisis para la evaluación. También incluye una demostración de la solicitud asistida por memory , donde el mensaje se actualiza con el texto generado en cada paso.

Otros recursos

• Mi blog sobre la solicitud de modelos de idiomas grandes, utilizado para un tutorial en el seminario CMU LTI en modelos de idiomas grandes (abril de 2023). En el blog, dibujo una analogía entre los LLM como compiladores estocásticos y la solicitud como un lenguaje de alto nivel para especificar tareas.