llama.mmengine

llama.mmengine

? mmengine과 함께 라마 훈련!

llama.mmengine은 원래 컴퓨터 비전 작업을 위해 설계된 Mmengine Training Engine을 활용하여 언어 모델을 훈련 및 미세 조정하는 실험 리포지토리입니다. 이 프로젝트의 주요 목표는 언어 모델과의 Mmengine의 호환성을 탐색하고, 미세 조정 기술에 대해 배우고, 지식 공유 및 협업을 위해 오픈 소스 커뮤니티와 교류하는 것입니다.

? 특징

• 7b ~ 65b 범위의 매개 변수 크기의 LLAMA 모델 로딩 지원
• 튜닝 지원을 지시합니다
• 저급 적응 (LORA) 미세 조정 지원

? 할인 목록

• int8 양자화 지원
• 생성 스크립트를 개선하십시오
• 지원 표시 유효성 검사 손실

? 시작하기

설치

1. Pytorch를 설치하십시오

   이 안내서 다음 https://pytorch.org/get-started/locally/

2. 이 repo를 설정하십시오

   레포를 복제하십시오

   git clone https://github.com/RangiLyu/llama.mmengine
   cd llama.mmengine

   종속성을 설치하십시오

   pip install -r requirements.txt

   setup.py를 실행합니다

   python setup.py develop

미리 훈련 된 라마 모델을 얻으십시오

공식 Llama Repo에서 모델 가중치를 다운로드하십시오.

체크 포인트 폴더는 다음과 같아야합니다.

 checkpoints/llama
├── 7B
│   ├── checklist.chk
│   ├── consolidated.00.pth
│   └── params.json
├── 13B
│   ...
├── tokenizer_checklist.chk
└── tokenizer.model

무게를 변환합니다 (Lit-Llama의 대본에 감사드립니다) :

 python scripts/convert_checkpoint.py 
    --output_dir checkpoints/mm-llama 
    --ckpt_dir checkpoints/llama 
    --tokenizer_path checkpoints/llama/tokenizer.model 
    --model_size 7B

로라 미세 조정

python tools/train.py configs/llama-7B_finetune_3e.py

추론

python tools/generate.py configs/llama-7B_finetune_3e.py work_dirs/llama-7B_finetune_3e/epoch_3.pth

? 기여

llama.mmengine에 기여하는 데 관심을 가져 주셔서 감사합니다! 이 프로젝트는 개인 부도 프로젝트로 유지되므로 개발 및 지원을위한 시간이 제한되어 있음을 의미합니다. 이를 염두에두고, 나는 커뮤니티 회원들이 풀 요청을 제출함으로써 참여하고 적극적으로 기여하도록 격려합니다!

감사의 말

• @lightning-af lit-llama ️
• Alpaca-Lora의 @tloen
• 스탠포드 알파카
• 야마