llm reasoning tutorial

Рассуждения с (большими) языковыми моделями

---

Презентации

• Учебник BHI 2023 (октябрь 2023 г.)

• ACL 2023 Учебное пособие (июль 2023 г.)

Tldr

• Центральной темой обоих этих учебных пособий является набор ключевых методов для побуждения к крупным языковым моделям. Объединение этих методов отражает многие из недавних работ по подъеме LLMS.

---

---

Записные книжки

• Языковые модели: обзор языковых моделей, фокусирующийся на архитектуре и работе GPT-2. Содержит интерактивные демонстрации того, как эти модели оценивают вероятности последовательности слов, предсказывают следующие токены и генерируют когерентный текст.

• Подсказка оснований: демонстрирует несколько выстрелов и нулевых выстрелов. Используя API OpenAI, позволяет играть с такими параметрами, как температура, токены остановки и максимальные токены, наблюдая за их влиянием на выходы языковых моделей.

• Пробуждение ключевых методов: показывает типичный рабочий процесс для подсказки языковых моделей, включая выбор между подсказками (прямые и цепные подсказки) и результаты анализа для оценки. Он также включает в себя демонстрацию подсказки с помощью memory , где подсказка обновляется сгенерированным текстом на каждом шаге.

Другие ресурсы

• Мой блог о побуждении к большим языковым моделям, используемый для учебника на семинаре CMU LTI на крупных языковых моделях (апрель 2023 г.). В блоге я проводю аналогию между LLM в качестве стохастических компиляторов и подсказки в качестве языка высокого уровня для определения задач.