近年、大規模な言語モデル（LLM）のパフォーマンスの向上は、主にスケールの拡張、つまりデータ量とコンピューティングパワーの増加に依存しています。ただし、このモデルは徐々にボトルネックに到達しています。業界の専門家は、「より大きく、より良い」戦略に依存するだけで、大きな進歩を遂げることは困難であり、新しい技術のブレークスルーが差し迫っていると指摘しました。この記事では、現在のAIフィールドが直面している課題と、「テスト時間コンピューティング」テクノロジーがAIの開発に新しい方向性をもたらす方法について説明します。
生成AIの急速な発展に伴い、「Biggerがより良い」という業界の伝統的な認識が変化しています。多くのトップAI科学者は最近、データの量を増やし、コンピューティング能力がボトルネックに近づいており、新しい技術的ブレークスルーが出現していることにより、AIパフォーマンスを改善する方法が出現していると述べました。
Safe SuperintelligenceとOpenaiの共同設立者であるIlya Sutskeverは最近、従来のトレーニング前の方法がパフォーマンスプラットフォーム期間に入ったという意見を表明しました。この声明は、特に人目を引くものです。なぜなら、それは彼が初期に提唱した大規模なトレーニング前の方法であり、ChatGptを出産したからです。今日、彼はAIの分野が「時代のスケール拡張の時代」から「奇跡と発見の時代」に移動したと述べた。
現在、大規模なモデルトレーニングは、複数の課題に直面しています。トレーニングコストは数千万ドル、システムの複雑さによって引き起こされるハードウェア障害のリスク、長いテストサイクル、およびデータリソースとエネルギー供給の制限です。これらの質問により、研究者は新しい技術の道を探求するようになりました。
その中で、「テスト時間計算」テクノロジーは、広範囲にわたる注目を集めています。このアプローチにより、AIモデルは、単一の回答を直接提供するのではなく、使用中にリアルタイムで複数のソリューションを生成および評価できます。 Openai Researcher Noam Brownは画像の類推を作成しました。AIにプレイカードで20秒間考えさせることができます。これは、モデルのスケールとトレーニング時間を100,000倍拡大することに匹敵します。
現在、Openai、人類、Xai、DeepmindなどのいくつかのトップAIラボラトリーは、それぞれのテクノロジーバージョンを積極的に開発しています。 Openaiはこの技術を最新のモデル「O1」に適用しており、最高製品責任者のKevin Weilは、これらの革新的なアプローチを通じて、モデルのパフォーマンスを改善する多数の機会を見てきたと述べました。
業界の専門家は、このテクノロジールートの変革は、AI業界全体の競争的景観を再構築し、さまざまなリソースに対してAI企業の需要構造を根本的に変える可能性があると考えています。これは、AI開発が新しい段階に入っていることを示しています。この段階では、単に拡張を拡大するのではなく、品質の向上に焦点を当てています。
要するに、「テスト時間コンピューティング」などの新しいテクノロジーの台頭は、AIの開発における新しい段階、つまり、単に拡張を拡大するのではなく、モデルのパフォーマンスの改善にもっと注意を払うことです。これにより、AI業界の競争力のある景観が変わり、AIテクノロジーがより洗練されたインテリジェントな方向に発展するようになります。将来、AIテクノロジーのブレークスルーは、単純なコンピューティングパワーの蓄積ではなく、モデルの本質の革新と理解にもっと依存します。