カリフォルニア大学バークレー校のSky Computing Laboratoryの研究チームであるNovaskyは、最近、Sky-T1-32B-Previewと呼ばれる推論モデルをリリースしました。 。さらに顕著なのは、このモデルのトレーニングコストが非常に低く、効率的で経済的な人工知能開発の新しい傾向を示していることです。
Sky-T1-32B-Previewは、最初の真にオープンソース推論モデルです。 Novaskyチームは、モデル自体を公開するだけでなく、モデルを完全にコピーできるようにトレーニングデータセットと必要なトレーニングコードも提供します。チームのブログによると、「Sky-T1-32B-Previewのトレーニングコストは450ドル未満であり、過去には、同様のパフォーマンスモデルのトレーニングは低コストで達成できることを証明しています。過去に行われます。このコストの大幅な削減は、主に合成トレーニングデータの使用に起因しています。たとえば、人工知能会社のライターによる最近リリースされたPalmyra X004モデルは、トレーニングのためにほぼ完全に合成データに依存しており、開発コストはわずか700,000ドルです。
推論モデルは、通常の人工知能モデルとは異なります。ただし、推論モデルは、数秒から分の範囲のソリューションを考案するのに時間がかかることがよくあります。それにもかかわらず、物理学、科学、数学などの分野でのその信頼性は、これらの分野に理想的です。
Novaskyチームは、AlibabaのQWQ-32B-Preview推論モデルを使用してSKY-T1の初期トレーニングデータを生成し、データをSURTEARIのGPT-4O-MINIを使用してより使用可能なものに再構築しました。 8つのNVIDIA H100 GPUラックを使用して320億パラメーターでSKY-T1をトレーニングするのに約19時間かかり、パラメーターの数はモデルの問題解決能力を直接反映しています。
パフォーマンステストでは、Sky-T1はMath500のO1の初期プレビューバージョン（「コンテストレベルの」数学的課題のセット）を上回り、LiveCodebenchのコーディングパズルのセットでO1のプレビューバージョンを打ち負かしました。ただし、SKY-T1は、博士号を取得するべき物理学、生物学、化学関連の問題を含むGPQA-ダイアモンドのO1プレビューバージョンほど良くありません。さらに、OpenaiのO1GAバージョンはプレビューバージョンよりも強力であり、Openaiは今後数週間でよりパフォーマンスの高い推論モデルO3をリリースする予定です。
それにもかかわらず、Novaskyチームは、Sky-T1は、高度な推論機能を備えたオープンソースモデルを開発するための出発点に過ぎないと述べました。 「楽しみにして、より効率的なモデルの開発、強力な推論のパフォーマンスの維持、テスト時にモデルの効率と精度をさらに向上させるための高度なテクノロジーを探求することに焦点を当てます」とチームは次のように書いています。エキサイティングな計画。