lora vit finetuning

LORA FINAGING pour les tâches de classification

Ce référentiel démontre l'utilisation de l'adaptation de faible rang (LORA) au modèle de base de Google pour deux tâches de classification: l'identification des articles alimentaires et l'identification de l'action humaine . Chaque tâche est formée et déduite séparément à l'aide de LORA.

Modèle de base

Dans cette tâche, nous avons utilisé le modèle Google Vit google/vit-base-patch16-224-in21k
avec environ 86M de paramètres. Lien vers le modèle de base de réprimande en étreinte

Exigences

Il existe des exigences pour exécuter les fichiers. Python avec version> = 3,8 est requis.
Autres exigences

• transformers
• datasets
• evaluate
• peft
• torch et torchvision

Lora amende

Aux fins de l'affiche, nous avons utilisé le paramètre peft efficace pour deux ensembles de données différents sur deux ensembles de données différents

• food101
• Human-Action-Recognition se référer au carnet de vitrine ici

Courir l'inférence avec Gradio

Afin d'exécuter l'inférence, une application Gradio simple est implémentée. Nous pouvons choisir n'importe quel adaptateur de modèle (nourriture / humain) et télécharger une image pour obtenir l'étiquette de classification.
Reportez-vous à inference.py et app.py
Afin d'exécuter l'inférence, exécutez le code suivant après le téléchargement ou le clonage du référentiel.

 python app.py