人工知能の分野では、大規模な言語モデル（LLM）のトレーニングは常にリソース集約型のタスクであり、通常は少数のハイテク大手しか引き受けません。ただし、Googleの最近発売されたSalt（Small Model Assisted Lage Model Training）メソッドは、この状況を完全に変える可能性があります。このイノベーションは、トレーニングコストを削減するだけでなく、モデルのパフォーマンスを改善し、より多くの研究機関と企業のためにAI開発の扉を開きます。
画像ソースノート：画像はAIによって生成され、画像認定サービスプロバイダーMidjourney
塩法の中核は、2段階のトレーニングプロセスにあります。最初の段階は知識の蒸留であり、小言語モデル（SLM）は「教師」として機能し、「ソフトタグ」を介して学んだ知識を大規模なモデルに渡します。この段階は、小さなモデルが習得した基本的なタスクに特に適しており、大規模なモデルが早期学習において強固な基盤を築くのを支援します。
2番目の段階は、より複雑なタスクに焦点を合わせて、大規模なモデルが独立して学習し始めている自己科学の学習です。この遷移の段階では、線形減衰や線形比例減衰などの戦略を含む慎重な設計が必要であり、大きなモデルが徐々に小さなモデルへの依存を減らし、最終的に独立した学習と最適化を達成できるようにします。
Googleの調査によると、SALT法を使用して28億パラメーターで大規模なモデルを訓練することで、時間が28％短縮され、数学的な問題と読解力の正確性がそれぞれ3％と4％改善されていることが示されています。この大幅なパフォーマンスの改善は、塩の効率を実証するだけでなく、複雑なタスクにおけるその強い可能性も示しています。
塩の出現は、トレーニングの効率を改善するだけでなく、AI開発のしきい値も低下させます。過去には、トレーニングには大規模なハイテク企業のみが余裕があり、現在では多くの小規模な研究機関や企業が参加できます。これにより、より革新的で専門的なAIソリューションの出現が促進され、人工知能の分野の開発がさらに促進されます。
一般に、塩メソッドは、小規模モデルの補助トレーニングを導入することにより、大規模なモデルのパフォーマンスを改善するだけでなく、トレーニングコストを大幅に削減します。この革新は、AIの分野で革命を引き起こすと予想されており、より多くの機関がAIの研究開発に参加し、業界全体の進歩を促進することができます。