Alpaca 350M Fine Tuned

Alpaca-350m-fine 튜닝

전문 업무 관련 프로젝트

이 프로젝트에서 저는 Stanford University에서 원래 개발 된 Alpaca 350m 매개 변수 모델의 미세 조정 프로세스를 용이하게하는 코드와 공동 노트북을 제공했습니다. 미세 조정되고있는 특정 모델에는 약 3 억 5 천만 개의 매개 변수가 있으며, 이는 작은 알파카 모델 중 하나입니다 (이전 미세 조정 모델보다 작음).

이 모델은 저급 적응 LORA를 사용하여 컴퓨팅 리소스와 교육 매개 변수가 적습니다. Bitsandbytes를 사용하여 8 비트 형식으로 설정하고 실행하여 공동 작업에 사용할 수 있습니다. 또한 Huggingface의 PEFT 라이브러리는 모델을 미세 조정하는 데 사용되었습니다.

하이퍼 매개 변수 :

1. micro_batch_size = 4 (4는 더 작은 GPU에서 작동 함)
2. batch_size = 32
3. gradient_accumulation_steps = batch_size // micro_batch_size
4. Epochs = 2 (Stanford 's Alpaca 사용 3)
5. Learning_rate = 2E-5 (Stanford 's Alpaca 사용 2E-5)
6. Cutoff_Len = 256 (Stanford의 Alpaca는 512를 사용하지만 256은 데이터의 96%를 차지하며 훨씬 더 빨리 실행됩니다)
7. lora_r = 4
8. lora_alpha = 16
9. lora_dropout = 0.05

원래 모델에 대한 크레딧 : Qiyuan GE

미세 조정 모델 : Ryanair/Alpaca-350M-Fine-Fine-Tuned (Huggingface)