Wizard_QLoRA_Finetuning
1.0.0
Qlora로 일부 마법사 모델을 미세 조정합니다
https://youtu.be/hkt5nz0buso?si=hnmylp_z5sgzlmbm
finetune.py 스크립트로 Finetuning을 수행 할 수 있습니다. 이 스크립트에서는 모델이 4 비트 정밀도로 데이터 세트 중 하나에서 다운로드 및 결합됩니다. 최상의 진행 상황이 이루어지면 체크 포인트가 지정된 출력 디렉토리에 저장됩니다.
모델을 훈련 한 후에는 체크 포인트 파일 중 하나를 병합하여 LORA 가중치와 오래된 가중치가 단일 가중치 매트릭스로 결합되어 분할 된 경우보다 추론이 더 효율적입니다. merge.py 지정된 체크 포인트 파일과 지정된 모델 유형이 주어지면 병합을 수행합니다.
추론에는 몇 가지 스크립트가 있습니다. infer.py and infer.ipynb 는 유사하며 주어진 모델에서 직선 추론을 실행합니다. infer_interface.ipynb 에는 Gradio를 사용하여 추가 인터페이스가 있습니다.
upload.py 사용하여 Huggingface 모델을 허브에 업로드 할 수 있습니다. HuggingFace에서 write Token을 올바르게 업로드하려면 필기 토큰을 얻으십시오.
data_creation.ipynb 는 데이터 생성의 간단한 예입니다.
