2次元の写真で美しいシーンに憧れ、それらの魅力的な写真を直接体験することを切望したことはありますか？今、この夢は現実になると予想されています！ CVPR2025では、MIDIと呼ばれる主要な研究（単一画像の3Dシーン生成のためのマルチインスタンス拡散、3Dシーン生成へのマルチインスタンス拡散単一画像）が登場しました。このテクノロジーは、熟練した魔術師のようなものです。通常の2D画像だけで、360度の3Dシーンを作成できます。
輝かしいテーブルと椅子、香りのよいコーヒーカップ、窓の外側の揺れの木が輝いている、太陽の光が輝いているカフェの隅に乗ったと想像してみてください。過去には、これは単なる静的なフラット画像でした。しかし、Midiを使用すると、この写真を「餌にする」だけで、次に起こることは「石を金に変える」と呼ぶことができます。
Midiは非常に巧妙に機能します。第一に、経験豊富なアーティストのように、入力単一の画像をインテリジェントにセグメント化し、テーブル、椅子、コーヒーカップなど、シーン内のさまざまな独立した要素を正確に識別できるようにします。これらの「分解された」画像パーツは、全体的なシーン環境情報とともに、MIDIが3Dシーンを構築する重要な基盤となります。
3Dオブジェクトを1つずつ生成してからそれらを組み合わせる他のいくつかの方法とは異なり、MIDIは、より効率的でインテリジェントなマルチインスタンス同期拡散の方法を採用します。これは、シーン内の複数のオブジェクトを3Dモデル化することができることを意味します。これは、同時に異なる楽器を演奏するオーケストラのようなもので、最終的には調和のとれた動きに収束します。
さらに驚くべきことは、MIDIが新しいマルチインスタンスの注意メカニズムを導入していることです。このメカニズムは、シーン内の異なるオブジェクト間の「対話」のようなものです。オブジェクト間の相互作用と空間的関係を効果的にキャプチャでき、生成された3Dシーンに独立したオブジェクトが含まれているだけでなく、それらの間の配置と相互の影響が論理的で統合されていることを保証します。生成プロセス中にオブジェクト間の関係を直接考慮するこの能力は、従来の方法での複雑な後処理ステップを回避し、効率と現実感を大幅に改善します。
MIDIは、複雑なマルチステージ処理のない単一の画像から構成された3Dインスタンスを直接生成できます。処理プロセス全体が最速で40秒しかかからないと言われています。これは、効率を追求するユーザーにとって間違いなく祝福です。 MIDIは、マルチインスタンスの注意層と交差層を導入することにより、グローバルシーンのコンテキスト情報を完全に理解し、各独立した3Dオブジェクトの生成プロセスに統合し、シーンの全体的な調整と詳細の豊かさを確保できます。
トレーニングプロセス中、MIDIは限られたシーンレベルのデータを巧みに使用して3Dインスタンス間の相互作用を監督し、正規化のために大量の単一オブジェクトデータを統合します。これにより、優れた一般化機能を維持しながらシーンロジックに準拠する3Dモデルを正確に生成できます。 MV-Adapterなどのテクノロジーのアプリケーションのおかげで、MIDIによって生成された3Dシーンのテクスチャの詳細は劣っていないことに言及する価値があります。
MIDIテクノロジーの出現により、多くの分野で新しい波が発生することが予見されます。ゲーム開発、バーチャルリアリティ、インテリアデザイン、文化的遺物のデジタル保護など、MIDIは、新しい、効率的で便利な3Dコンテンツの生産方法を提供します。将来的には、インタラクティブな3D環境をすばやく構築して、真の「ワンクリックタイムトラベル」を達成するために写真を撮る必要があるかもしれないと想像してください。
プロジェクトの入り口：https：//huangzh.github.io/midi-page/