NanoPeft

nanopeft

トレーニング/微調整トランスベースのモデル（IE、BERT、GPTS）のためのさまざまなLORAメソッドの最も単純なリポジトリとニート実装。

なぜナノペフト？

• PEFT＆LITGITは優れたライブラリですが、抱きしめる顔のPEFT（パラメーター効率の高い微調整）またはLitGitパッケージをハッキングすることは、新しいLORAメソッドを迅速に統合してベンチマークするための多くの作業のようです。
• コードを非常にシンプルに保つことで、ニーズに合わせて非常に簡単にハッキングし、レイヤー/ディレクトリの論文から新しいLORAメソッドを追加し、ニーズに合わせて簡単に微調整できます。
• これは、主に実験/研究の目的であり、スケーラブルなソリューションではありません。

インストール

ピップ付き

PIPコマンドを使用してNanopeftをインストールする必要があります

pip3 install git+https://github.com/monk1337/NanoPeft.git