fishpalのダウンロード - fishpalソースコードのダウンロード

fishpal

AI ソースコード

1.0.0

ダウンロード

「パラメーター効率の高い微調整のモジュラーアプローチの比較」に関するマスター論文」

抽象的な：

大規模な言語モデル（LLM）は、タスク全体で印象的な自然言語の理解を示します。言語モデルのサイズが大きくなると、それらを特定のタスクに適応させると、計算高価になります。コンテキスト内学習は、LLMSの標準的な微調整に代わるものとして提案されています。ただし、一般的にプロンプトは標準的な微調整を下回ります。また、プロセスが脆く、プロンプトの文言と例の数には、最良のプロンプトを見つけることは簡単ではありません。これらの問題に取り組むために、パラメーター効率の高い微調整（PEFT）が提案されています。このパラダイムは、モジュラーコンポーネントを事前に訓練したモデルに追加します。これらは、LLMが更新されていない間、ターゲットタスクで微調整されています。 PEFTコンポーネントにはタスクごとの容量が専用であり、以前の知識を忘れることなくモデルの更新を許可しますが、そのようなモジュールの構成はLLMのマルチタスク機能を改善できます。 PEFTは、標準の微調整の性能に達する可能性があります。これはこの分野での動機付けの研究を行っており、最近多くの方法が提案されています。ただし、どのモジュラーアプローチが一連のタスクに適しているかを評価するには、タスクごとに選択されたモジュラーアプローチを実験する必要があります。これには、多くの場合、方法とハイパーパラメーターを徹底的に検索する必要がありますが、実際には困難です。この研究では、Fisher Information Matrixに基づいた新しい基準を提案して、LLMを特定のタスクに適応させるために使用するPEFTアプローチを選択します。この小説「Fisher」は、トランスのためのプレフィックス調整、アダプター、ロラのFisher-Informedの選択であり、魚屋であるFishpalは、費用のかかるトレーニング実験を避け、タスクごとに1つの組み合わせのみを訓練します。この論文の実験では、フィッシュパルは一貫して異なる接着剤タスクのベースラインを上回り、合計モデルパラメーターの2〜4％のみを更新し、推論中に基本モデルのパラメーターの0.4％しか追加しません。