2月18日、Kunlun Wanweiは、AI Short Drama Creation Skyreels-V1の中国初のビデオ生成モデルのオープンソースと最初のSotaレベルの表現アクション制御可能なアルゴリズムSkyreels-A1を発表しました。この主要な動きは、現在のAIビデオ生成モデルに存在する技術的障壁と商業化の問題を解決し、AIショートドラマ業界に新しい活力を注入することを目指して、中国のAIビデオ生成分野における重要なステップを示しています。
AIショートドラマ作成の中国初のオープンソースビデオ生成モデルとして、Skyreels-V1には、リップ生成、表現生成、身体生成などの複数のモジュールを統合し、キャラクターのパフォーマンスの詳細を正確に制御する技術アーキテクチャがあります。このモデルは、数千万人の高品質のハリウッドデータによって訓練および微調整されており、発現生成と身体生成の制御性を大幅に改善し、AI短いドラマ作成の強力な技術サポートを提供します。
Skyreels-V1は、33の繊細なキャラクター表現と400以上の自然の動きの多様な組み合わせをサポートしており、実際の感情表現を高度に回復できます。生成するビデオは、映画レベルの光と影の美学と絵のテクスチャを備えているだけでなく、キャラクターの映画レベルのマイクロエクスペッションパフォーマンスの生成を実現することもできます。 Skyreels-V1はWenshengビデオをサポートするだけでなく、Tieshengビデオもサポートしていることに言及する価値があります。
技術的な実装レベルでは、Skyreels-V1は、Kunlun Wanweiが開発した高品質のデータクリーニングと手動ラベル付けパイプラインに依存して、数千万の高品質映画、テレビシリーズ、ドキュメンタリーデータを構築しています。チームはまた、「人間中心の」ビデオ理解マルチモーダルモデルを開発し、ビデオ内のキャラクターの理解を大幅に改善し、モデルの正確な制御のための強固な技術基盤を提供しました。
Skyreels-A1は、ビデオ駆動型の映画レベルの表現キャプチャをサポートし、高忠実度のマイクロ発現回復を実現する最初のSOTAレベルのビデオベースモデルベースの表現アクション制御可能なアルゴリズムです。このアルゴリズムは、人体の割合に基づいて非常に現実的なキャラクターの動的なビデオを生成できます。
Skyreels-A1は、技術的な実装に大きな利点があり、サイド面の発現制御の生成をサポートし、より現実的な眉と眼の微小表現の生成とより大きな頭と自然の体の動きを達成できます。 RunwayのAct-Oneと比較して、Skyreels-A1は生成されたビデオに歪みがなく、パフォーマンスの詳細はより現実的であり、表現と体の動きの自然で完全な融合を実現し、AI短いドラマ作成のためのより高い技術的基準を提供します。
Kunlun Wanweiは常にオープンソースの概念に固執しており、技術的平等の促進に取り組んでいます。 2023年8月以来、同社は「Tiangong」Skywork-13Bシリーズ、Digital Intelligent Body AgentStudioのフルプロセスR＆Dツールキット、「Tiangong Big Model 3.0」4000億パラメーターMOEスーパーモデルなど、複数のモデルを連続してオープンしました。このオープンソースのSkyreels-V1とSkyreels-A1は、AIショートドラマ業界で最初のケースであり、ユーザーに低コストでより制御可能なAIGC機能をもたらし、AIショートドラマエコシステムの継続的な建設と繁栄を促進することを目指しています。
Kunlun Wanweiの会長兼CEOであるFang Hanは、AIGC能力の出現により、映画制作のコストを大幅に削減し、文化の平等な権利を促進すると述べました。将来、Kunlun Wanweiは、より多くのビデオ生成モデルとアルゴリズムをオープンソースに引き続きオープンし、AIショートドラマ業界の開発により多くの可能性を提供し、映画やテレビの作成の分野におけるAIテクノロジーの広範なアプリケーションを促進します。
オープンソースアドレス：
Skyreels-V1
https://github.com/skyworkai/skyreels-v1
Skyreels-A1
https://github.com/skyworkai/skyreels-a1
技術レポート：https：//skyworkai.github.io/skyreels-a1.github.io/report.pdf
Skyreelsの公式住所：Skyreels.ai