llm reasoning tutorial

(큰) 언어 모델을 사용한 추론

---

프레젠테이션

• BHI 2023 튜토리얼 (2023 년 10 월)

• ACL 2023 튜토리얼 (2023 년 7 월)

tldr

• 이 두 튜토리얼의 중심 주제는 대형 언어 모델을 촉구하기위한 주요 기술 세트입니다. 이러한 기술을 결합하면 LLM 프롬프트에 대한 최근의 많은 작업이 캡처됩니다.

---

---

노트북

• 언어 모델 : GPT-2의 아키텍처 및 운영에 중점을 둔 언어 모델 개요. 이러한 모델이 단어 시퀀스 확률을 추정하고 다음 토큰을 예측하며 일관된 텍스트를 생성하는 방법에 대한 대화식 데모가 포함되어 있습니다.

• 프롬프트 기본 사항 : 소수의 샷과 제로 샷 프롬프트를 보여줍니다. OpenAI API를 사용하면 온도, 스톱 토큰 및 최대 토큰과 같은 매개 변수를 사용하여 언어 모델 출력에 미치는 영향을 관찰 할 수 있습니다.

• 프롬프트 주요 기술 : 프롬프트 (직접 및 사정 된 프롬프트)와 평가를위한 출력을 구문 분석하는 등 언어 모델을위한 전형적인 워크 플로우를 보여줍니다. 또한 각 단계에서 생성 된 텍스트로 프롬프트가 업데이트되는 memory 보조 프롬프트의 데모가 포함되어 있습니다.

기타 리소스

• 대형 언어 모델 (2023 년 4 월)에 대한 CMU LTI 세미나에서 튜토리얼에 사용되는 대형 언어 모델을 제기하는 내 블로그. 블로그에서 나는 확률 론적 컴파일러로서 LLMS와 작업을 지정하기위한 높은 수준의 언어로 유사합니다.