AI 지원 코딩 및 프롬프트 엔지니어링
소개
이 저장소는 AI 지원 코딩, 자동 회귀 대형 언어 모델 (LLMS) 및 고급 프롬프트 엔지니어링 기술과 관련된 리소스 및 데모를 제공합니다.
다루는 주제 :
- AI 지원 코딩
- 자동 회귀 대형 언어 모델 (LLMS)
- 프롬프트 엔지니어링 201
AI 지원 코딩
이 저장소에는 언어 모델을 사용하여 AI 지원 코딩 기술을 보여주는 Jupyter 노트북 ( AI_ASSISTED_CODING.ipynb )이 포함되어 있습니다.
자동 회귀 언어 모델
자동 회귀 LLM은 입력 텍스트를 기반으로 다음 단어를 예측하고 확률 커널로 작동합니다.
주요 개념 :
- Next-Word Prediction : 접두사가 주어지면 모델은 다음 단어를 생성합니다.
- 확률 적 특성 : 주어진 입력은 확률 분포에서 샘플링 된 다른 출력을 생성 할 수 있으며, 이는 불일치 또는 환각을 초래할 수 있습니다.
- 확률 계산 : 언어 모델은 사전 관찰에 기초하여 일련의 단어에 확률을 할당합니다.
큰 언어 모델의 유형 :
- Base LLM (사전 훈련) : 문장에서 다음 단어를 예측하기 위해 큰 텍스트 Corpora에서 교육을 받았습니다.
- 명령 조정 된 LLM (미세 조정) : 다음과 같은 기술을 사용하여 지침을 따르고 응답 정확도를 향상시키는 데 최적화되었습니다.
- 감독 미세 조정 (SFT)
- 인간 피드백을 통한 강화 학습 (RLHF)
- 직접 기본 설정 최적화 (DPO)
샘플링 및 매개 변수
모델 출력을 제어하는 주요 매개 변수 :
- 온도 : 무작위성을 제어합니다 (높은 가치 = 더 창의성, 낮은 가치 = 더 결정 론적 응답).
- Top-P (Nucleus Sampling) : 토큰 선택을 가장 가능한 하위 집합으로 제한합니다.
- 로그 프롭 : 디버깅 및 신뢰 분석을위한 확률 점수 로그.
- 처벌 :
- 주파수 페널티 : 빈번한 단어의 반복을 줄입니다.
- 존재 페널티 : 반복적 인 문구를 피함으로써 다양한 출력을 장려합니다.
- 최대 토큰 : 응답 길이를 제한합니다.
- 정지 시퀀스 : 텍스트 생성을 중단하는 토큰 시퀀스를 정의합니다.
- N & Best_of : 생성 된 완료 수를 제어합니다.
프롬프트 엔지니어링 201
저장소에는 LLM에 대한 신속한 최적화 기술을 보여주는 Jupyter 노트북 ( PROMPT_ENGINEERING.ipynb )이 포함되어 있습니다.
핵심 주제 :
- 모델 행동 이해 : 원하는 응답을 달성하기위한 미세 조정 프롬프트.
- 창의성 및 정확도 제어 : 구조화, 코 히어 런트 및 관련 출력에 대한 매개 변수 조정.
- 모델 응답 디버깅 : 로그 확률을 사용하여 프롬프트를 개선합니다.
데모 및 사용
개념을 탐색하려면 제공된 Jupyter 노트북을 실행하십시오.
-
AI_ASSISTED_CODING.ipynb -ai-assisted 코딩 데모. -
PROMPT_ENGINEERING.ipynb - 고급 프롬프트 엔지니어링 전략.
참조
- deeplearning.ai - Chatgpt 프롬프트 엔지니어링
- 스탠포드 NLP (CS224N)
- AI 엔지니어링 연구
기부금의 경우 풀 요청을 열 거나이 저장소에서 문제를 만듭니다. 행복한 코딩!
