lora vit finetuning

分類タスクのためのLora微調整

このリポジトリは、2つの分類タスクについてGoogleのベースモデルを微調整するために、低ランク適応（LORA）を使用することを示しています。各タスクは、LORAを使用して個別にトレーニングおよび推測されます。

ベースモデル

このタスクでは、Google VITモデルgoogle/vit-base-patch16-224-in21kを利用しました
約86Mのパラメーター。ハグするフェイスレポベースモデルへのリンク

要件

ファイルを実行するためには、いくつかの要件があります。バージョン付きのPython> = 3.8が必要です。
その他の要件

• transformers
• datasets
• evaluate
• peft
• torchとtorchvision

ロラの微調整

微調整のために、2つの異なるデータセットでpeftパラメーター効率的な微調整を使用しました

• food101
• Human-Action-RecognitionこちらのVITノートブックを参照してください

グラデーションで推論を実行します

推論を実行するために、簡単なグラデーションアプリが実装されています。任意のモデルアダプター（Food / Human）を選択し、画像をアップロードして分類ラベルを取得できます。
inference.pyおよびapp.pyを参照してください
推論を実行するために、リポジトリをダウンロードまたはクローニングした後、次のコードを実行します。

 python app.py