lora vit finetuning

분류 작업을위한 Lora 미세 조정

이 저장소는 두 가지 분류 작업, 즉 식품 식별 및 인간 행동 식별을 위해 Google의 기본 모델을 미세 조정하기 위해 저급 적응 (LORA) 을 사용하는 것을 보여줍니다. 각 작업은 LORA를 사용하여 별도로 교육 및 추론됩니다.

기본 모델

이 작업에서 우리는 Google Vit Model google/vit-base-patch16-224-in21k 사용했습니다.
약 86M 매개 변수가 있습니다. Hugging Face Repo Base 모델에 연결됩니다

요구 사항

파일을 실행하려면 몇 가지 요구 사항이 있습니다. 버전> = 3.8의 파이썬이 필요합니다.
기타 요구 사항

• transformers
• datasets
• evaluate
• peft
• torch 과 torchvision

로라 미세 조정

미세 조정을 위해 두 가지 데이터 세트에서 peft 매개 변수 효율적인 미세 조정을 사용했습니다.

• food101
• Human-Action-Recognition 여기에서 VIT 노트북을 참조하십시오

Gradio와의 추론 실행

추론을 실행하기 위해 간단한 Gradio 앱이 구현됩니다. 모델 어댑터 (Food / Human)를 선택하고 이미지를 업로드하여 분류 레이블을 얻을 수 있습니다.
inference.py 및 app.py 를 참조하십시오
추론을 실행하려면 저장소를 다운로드하거나 복제 한 후 다음 코드를 실행합니다.

 python app.py