lora vit finetuning

Lora Tuneamento fino para tarefas de classificação

Este repositório demonstra o uso da adaptação de baixo rank (LORA) para ajustar o modelo básico do Google para duas tarefas de classificação: identificação de itens alimentares e identificação de ação humana . Cada tarefa é treinada e inferida separadamente usando Lora.

Modelo base

Nesta tarefa, utilizamos o modelo do Google Vit google/vit-base-patch16-224-in21k
com cerca de 86M parâmetros. Link para o modelo Base Base de Repo Abraçando Face

Requisitos

Existem alguns requisitos para executar os arquivos. Python com versão> = 3.8 é necessário.
Outros requisitos

• transformers
• datasets
• evaluate
• peft
• torch e torchvision

Lora Tuneing fino

Para fins de ajuste fino, usamos o parâmetro peft eficientes ajustes finos em dois conjuntos de dados diferentes

• food101
• Human-Action-Recognition Consulte o Notebook Vit aqui

Inferência com Gradio

Para executar a inferência, um aplicativo simples de graduação é implementado. Podemos escolher qualquer adaptador de modelo (alimento / humano) e fazer upload de uma imagem para obter o rótulo de classificação.
Consulte o inference.py e app.py
Para executar a inferência, execute o código a seguir após o download ou clonar o repositório.

 python app.py