파운데이션-모델-언어-모델 -FM-LLM-
이 저장소는 현대 생성 AI 개념이 제시되는 중요한 작업을 실행하는 조치에 따라 저지했습니다. 특히, 우리는 다음과 같이 제공되는 대형 언어 모델의 세 가지 코딩 동작에 중점을 두었습니다.
- Instace 유형 ML-M5-2xlarge와 함께 AWS의 생성 AI를 통해 대화 요약 예제를 탐색합니다. 이것은 포옹 페이스에서 미리 훈련 된 대형 언어 모델 (LLM) FLAN-T5와 대화의 요약을 통합하여 성공적으로 실행되었습니다. 또한, 우리는 텍스트 생성을위한 기초 모델에서 중요한 개념 인 신속한 엔지니어링을 사용했습니다. 우리는 대화 요약 실험을 마치기 위해 제로 샷 추론, 원샷 추론 및 소수의 추론을 사용했습니다.
- 두 번째 실험에서는 생성 AI 모델에 대한 미세 조정의 중요한 개념을 탐구하고 다시 대화 요약 실험을 수행했습니다. 이 특정 실험은 Instace 유형 ML-M5-2xlarge를 사용하여 AWS에서 수행되었다는 점에 주목하는 것이 중요합니다. 관심있는 데이터 세트를 리콜 한 후이 경우 대화 데이터 세트 데이터 세트 인이 경우에는 미리 훈련 된 FLAN-T5 모델을로드 한 다음 토큰 화를냅니다. Shot-Inferencing으로 모델을 테스트 한 후 모델을 미세 조정 한 다음 Rogue Metric으로 훈련 된 LLM의 유효성을 평가했습니다. 그 후 우리는 미세 조정을 수행 한 후, 저 순위 적응 (LORA)과 실험 IC를 포함하는 일반적인 용어 인 매개 변수 효율적인 미세 조정 (PEFT)을 실행했습니다.
- 마지막으로, 우리는 FLAN-T5 모델을 미세 조정하여 Meta AI의 증오 연설 보상 모델로 덜 독성 내용을 생성하는 방법을 연구합니다. 전통적인 커밋을 실행 한 후, 우리는 근위 정책 최적화 (PPO)를 사용하여 보상 모델에 대한 강화 학습 정책을 최적화하여 요약을 해독하기 위해 미세 조정을 수행합니다. 다시 말하지만, 우리는 Instace 유형 ML-M5-2xlarge와 함께 AWS 에서이 모든 것을 수행했다는 것을 잊지 마십시오.
이 모든 코딩은 Coursera의 https://www.coursera.org/generative-ai-with-llms에서 수강 한 과정에서 제공되었습니다. 내 활성 참여 인증서는 이미이 저장소에 업로드되어 있습니다.
