ロシアのテクノロジー大手 Yandex は、自社開発した YaFSDP ツールをオープンソース化しました。これは、大規模言語モデル (LLM) トレーニングの最適化手法であり、その効率が業界をリードしています。 YaFSDP は LLM トレーニング速度を最大 26% 大幅に向上させ、GPU リソースのコストを大幅に節約できます。これは間違いなく AI 開発者や企業にとって大きなメリットとなります。このツールは、トレーニング パラメーターのサイズが 300 億から 700 億に達した場合に特に優れたパフォーマンスを発揮し、中小企業や個人の開発者が LLM を独立してトレーニングできる可能性が高まります。
ロシアのテクノロジー大手である Yandex は最近、独自に開発した YaFSDP ツールを世界の AI コミュニティにオープンソース化しました。これは現在業界で最も効率的な大規模言語モデル (LLM) トレーニング最適化手法です。業界で広く使用されている FSDP テクノロジーと比較して、YaFSDP は LLM トレーニング速度を最大 26% 向上させることができ、AI 開発者や企業にとって GPU リソースを大幅に節約できることが期待されます。
YaFSDP (Yandex Full Sharded Data Parallel) は、FSDP に基づく Yandex の拡張バージョンで、GPU 通信効率とメモリ使用量の最適化に重点を置き、LLM トレーニング プロセスのボトルネックを排除します。 YaFSDP は、事前トレーニング、調整、微調整などの通信集約型のタスクにおいて、特にトレーニング パラメータのサイズが 300 億から 700 億に達した場合に優れたパフォーマンスの向上を示します。
Yandex の上級開発専門家で YaFSDP チームのメンバーであるミハイル・フルシシェフ氏は、「YaFSDP は、LLaMA アーキテクチャに基づいて広く使用されているオープンソース モデルに最適です。私たちは引き続き、さまざまなモデル アーキテクチャやパラメータにわたってその汎用性の最適化と拡張を続けています」と述べています。幅広い用途を視野に入れたサイズ展開で、さまざまなシーンでのトレーニング効率を向上させます。
700 億のパラメータを持つモデルのトレーニングを例にとると、YaFSDP を使用すると約 150 GPU リソースを節約できると推定されており、これは月あたりの計算電力コストを 50 万米ドルから 150 万米ドル節約することに相当します。このコスト削減により、中小企業や個人の開発者にとって自律的な LLM トレーニングがより実現可能になることが期待されます。
同時に、Yandex は、YaFSDP オープンソースがこの取り組みの反映であり、グローバルな AI コミュニティの発展に貢献し続けることも約束します。同社はこれまで、CatBoost 高性能勾配ブースティング ライブラリ、AQLM エクストリーム モデル圧縮アルゴリズム、Petals モデル トレーニング簡略化ライブラリなど、高く評価されているオープンソース AI ツールを多数共有してきました。
業界アナリストは、LLMの規模が拡大し続けるにつれて、トレーニング効率の向上が人工知能開発の鍵になると指摘しています。 YaFSDP などの技術的なブレークスルーは、AI コミュニティが大規模モデルの研究をより迅速に進め、自然言語処理、コンピューター ビジョン、その他の分野での応用の可能性を模索するのに役立つと期待されています。
YaFSDP のオープンソースは、AI テクノロジーの開発促進における Yandex の積極的な姿勢と貢献を示しており、グローバル AI コミュニティに強力なツールを提供し、大規模モデルのトレーニングの敷居をさらに下げ、AI テクノロジーの普及と応用を加速します。