Finetune LLAMA 2 On Your DataSet AutoTrain From Hugging Face

LLAMA-3.1-8B 모델의 미세 조정 및 추론

이 프로젝트는 LORA 어댑터를 사용하여 LLAMA-3.1-8B 모델을 미세 조정하고 채팅 템플릿을 적용하며 추론을 위해 모델을 저장하는 방법을 보여줍니다. 이 모델은 로컬 데이터에 대한 교육을 받고 매개 변수 효율적인 교육을 위해 최적화되며 Hugging Face Hub에 배치됩니다.

개요

• 모델 : 효율적인 메모리 사용을위한 4 비트 양자화가있는 LLAMA-3.1-8B.
• 기술 : LORA (저급 적응) 어댑터, 그라디언트 체크 포인팅 및 채팅 템플릿을 사용한 미세 조정.
• 데이터 : 교육에 사용되는 맞춤형 로컬 CSV 파일.
• 목표 : 대화 기반 형식으로 사용자 입력을 처리 할 수있는 챗봇 모델을 훈련하고 배포합니다.

특징

• LORA 어댑터 : 매개 변수 효율적인 미세 조정.
• 양자화 : 4 비트 정밀도의 효율적인 메모리 사용.
• 채팅 템플릿 : 구조화 된 대화가 토큰 화를 통해 흐릅니다.
• 모델 배포 : 다른 양자화 형식의 얼굴 허브를 포옹하는 데 모델을 저장하고 밀어 넣습니다.

설치

이 프로젝트를 실행하려면 필요한 패키지를 설치해야합니다. Google Colab 또는 지역 환경에서 설정할 수 있습니다.

pip install torch transformers datasets pandas unsloth trl