lora vit finetuning

Lora ajustado para tareas de clasificación

Este repositorio demuestra el uso de la adaptación de bajo rango (LORA) para ajustar el modelo base de Google para dos tareas de clasificación: identificación de artículos de alimentos e identificación de acción humana . Cada tarea se entrena y se infiere por separado usando Lora.

Modelo base

En esta tarea utilizamos el modelo Google Vit google/vit-base-patch16-224-in21k
con alrededor de 86M de parámetros. Enlace al modelo de base de repo de la cara abrazada

Requisitos

Hay algunos requisitos para ejecutar los archivos. Python con versión> = 3.8 es necesario.
Otros requisitos

• transformers
• datasets
• evaluate
• peft
• torch y torchvision

Lora ajustado

A los fines de ajuste, utilizamos un parámetro peft , un ajuste fino eficiente en dos conjuntos de datos diferentes

• food101
• Human-Action-Recognition consulte el cuaderno VIT aquí

Ejecutando inferencia con Gradio

Para ejecutar la inferencia, se implementa una simple aplicación Gradio. Podemos elegir cualquier adaptador de modelo (alimento / humano) y cargar una imagen para obtener la etiqueta de clasificación.
Consulte el inference.py y app.py
Para ejecutar la inferencia, ejecute el siguiente código después de descargar o clonar el repositorio.

 python app.py