Generative AI with Large Language Models

생성-이기도 된 대규모 모델

이 저장소에는 "큰 언어 모델이있는 생성 AI"에 대한 Coursera 코스의 실험실 작업이 포함되어 있습니다.

1. Lab 1- 생성 AI 사용 사례 : 대화 상자 요약

생성 AI를 사용하여 대화 상자 요약을 수행하십시오. 제로 샷, 한 샷 및 소수의 샷 추론과 같은 컨텍스트 학습을 실험하고 결과에 영향을 미치기 위해 관련 구성 매개 변수를 튜닝하십시오.

2. Lab 2- 대화를위한 생성 AI 모델을 미세 조정하십시오.

Hugging Face, FLAN-T5 모델에서 기존 LLM에서 미세 조정을 수행하십시오. LORA (Low Rank Adaptation)와 같은 PEFT (매개 변수 효율적인 미세 튜닝) 방법뿐만 아니라 전체 미세 조정 및 Rouge Metrics를 사용한 평가를 모두 탐색하십시오.

3. 실험실 3-보다 양성 요약을 생성하기위한 강화 학습을 가진 Flan-T5를 미세 조정

Meta AI의 증오 연설 보상 모델과 같은 보상 모델을 사용하여 강화 학습을 사용하여 FLAN-T5 모델을 추가로 미세 조정하여 독성 요약이 적습니다. 근위 정책 최적화 (PPO)를 사용하여 모델을 미세 조정하고 해독하십시오.