Rhymes AI は、クリエイティブ分野における AI の大きな進歩を示す、革新的なテキスト画像からビデオへの生成モデル Allegro-TI2V を発表しました。 Allegro-TI2V は、最大 79.2K のコンテキスト長、720×1280 ピクセルの出力解像度をサポートし、後続ビデオ生成や中間ビデオ生成などの複数の生成モードを提供するため、ビデオ作成の効率が大幅に向上します。このモデルは Apache2.0 ライセンスの下でリリースされており、ユーザーは簡単にアクセスして使用できます。
Rhymes AI は最近、革新的なテキスト画像からビデオへの生成モデル Allegro-TI2V をリリースしました。この画期的なテクノロジーは、デジタル コンテンツ作成の新たな境地を開きます。生成 AI の最新の進歩として、Allegro-TI2V はクリエイティブ ワーカーに前例のないビジュアル ストーリーテリング ツールを提供し、クリエイティブ分野における AI テクノロジーの大きな可能性を示しています。
Allegro-TI2V は複数の技術仕様において優れており、ビデオの 88 フレームに相当する最大 79.2K のコンテキスト長をサポートします。出力解像度は 720×1280 ピクセルで、ビデオ生成速度は 15 フレーム/秒で、さまざまなアプリケーション シナリオのニーズを満たすために 30FPS まで補間することも選択できます。このモデルのアーキテクチャは、1 億 7,500 万パラメータの VideoVAE モデルと 28 億パラメータの VideoDiT モデルを含む非常に複雑で、ユーザーが入力したテキスト プロンプトと初期画像の本質を正確にキャプチャできます。さらに、Allegro-TI2V はマルチ精度モード (FP32、BF16、FP16) もサポートしており、BF16 モードでは、ビデオの生成に必要な GPU メモリは 9.3GB のみなので、ハードウェア要件が大幅に軽減されます。
Allegro-TI2V の革新的な点は、2 つの新しい生成モードが導入されていることです。 後続ビデオ生成: テキスト プロンプトと最初のフレームに基づいて、連続ビデオ コンテンツが作成されます。このモードは、クリエイターが設定したテーマやスタイルに一致するビデオを簡単に生成するのに役立ちます。中間ビデオ生成: 特定のビデオの最初と最後のフレームに基づいて、自然な移行中間フレームを生成し、従来のビデオ編集の時間とスペースの制限を打ち破ります。
これらの革新的なモードにより、Allegro-TI2V はクリエイターに、より効率的で柔軟なビデオ作成方法を提供し、作成効率と品質を大幅に向上させることができます。
Rhymes AI は、Apache 2.0 ライセンスに基づいて Allegro-TI2V をリリースし、研究者、開発者、コンテンツ作成者がこのテクノロジーに簡単にアクセスして使用できるようにしました。ユーザーは、Python3.10+、PyTorch2.4+、および CUDA12.4+ をインストールするだけで、簡単に開始し、この高度なテクノロジーをすぐに体験できます。
Allegro-TI2V には、映画制作やゲーム開発からデジタル アートやクリエイティブなプロトタイピングに至るまで、幅広いアプリケーションの可能性があり、そのすべてがその強力な生成機能を最大限に発揮できます。開発者が提供するデータによると、1 つの H100 GPU で 6 秒のビデオを約 20 分で生成できます。8 つの H100 GPU の構成では、生成時間が 3 分に短縮され、ビデオ コンテンツの作成効率が大幅に向上します。 。
利用アドレス：https://huggingface.co/rhymes-ai/Allegro-TI2V
製品アドレス：https://rhymes.ai/blog-details/allegro-advanced-video-generation-model
Allegro-TI2V は、強力な機能と使いやすさにより、ビデオ コンテンツ制作の発展を大きく促進し、クリエイティブ業界に新たな可能性をもたらします。また、そのオープンソースの性質により、より広範なコミュニティの参加と技術開発が促進され、将来のアプリケーションと改善に期待する価値があります。