最近、カリフォルニア大学のスカイコンピューティングラボチーム、バークレーは、推論AIの開発をより簡単かつ安価にマークするオープンソースの推論人工知能モデルであるSky-T1-32B-Previewをリリースしました。このモデルは、OpenaiバージョンのO1の以前のバージョンに匹敵する複数のキーベンチマークでうまく機能しました。
SKY-T1のトレーニングコストはわずか450ドルで印象的です。つまり、高レベルの推論能力の複製はより手頃で効率的になりました。 450ドルの手数料は低く聞こえないかもしれませんが、数年前に数億ドルの費用がかかるトレーニングコストと比較して大幅に減少します。合成トレーニングデータ、つまり他のモデルによって生成されたトレーニングデータの助けを借りて、コストは大幅に削減されます。 AI会社のライターは最近、Palmyra X004をリリースしました。これは、ほぼ完全に合成データに依存しており、開発コストはわずか700,000ドルです。
ほとんどのAIとは異なり、推論モデルは効果的に自己チェックすることができ、いくつかの一般的な問題に対処するときにより信頼性が高くなります。推論モデルは通常、解決策を導き出すときは時間がかかりますが、数秒から数分かかる場合がありますが、物理学、科学、数学などの分野では、信頼性の利点は重要です。
Novaskyチームは、AlibabaのQWQ-32B-Previewを使用して、SKY-T1の最初のトレーニングデータを生成し、Dateを使用してデータを再現しましたより多くの運用形式。 8つのNVIDIA H100GPUのセットを使用して、32億パラメーターでSKY-T1をトレーニングするのに約19時間しかかかりません。パラメーターの数は、モデルの問題解決能力にほぼ関連しています。
Novaskyチームによると、Sky-T1は、「コンテストレベルの」数学的課題のMath500コレクションでO1の初期プレビューバージョンを上回りました。さらに、Sky-T1は、O1のプレビューバージョンよりもLiveCodebenchでより多くの困難に直面しています。ただし、SKY-T1は、物理学、生物学、化学を含む問題に関して、GPQA-ダイアモンドテストのO1プレビューよりも悪化しました。
OpenaiのGAバージョンO1はプレビューバージョンよりも強力であり、Openaiは今後数週間でさらに優れた推論モデルO3をリリースすることが期待されています。しかし、Novaskyチームは、Sky-T1は、高度な推論機能を備えたオープンソースモデルを開発するための旅の始まりに過ぎないと述べました。
「楽しみにして、より効率的なモデルの開発に焦点を当て、強力な推論パフォーマンスを維持し、モデルの効率と精度をさらに向上させる高度な技術を探求します」とチームはブログに書いています。 「これらのエキサイティングなプロジェクトの進捗状況をお楽しみに。」