Bytedanceの最新のポートレートアニメーションテクノロジーX-Portrait2は、超低コストと高効率でアニメーション制作分野に革新をもたらしました。このテクノロジーは複雑なモーションキャプチャを必要とせず、静的なポートレートとパフォーマンス駆動型のビデオのみを生成して、リアルなアニメーションビデオを生成し、アニメーションの制作プロセスを大幅に簡素化できます。そのコアは、微妙な式の変化を正確にキャプチャして移行できるAdvanced Expression Encoderモデルにあります。また、舌を完全に提示して、アニメーションの高い忠実度と表現力を確保することができます。
最近、Bytedanceは最新のポートレートアニメーションテクノロジーX-Portrait2を発売しました。ユーザーは静的なポートレート画像とパフォーマンス駆動型のビデオを提供するだけで、X-Portrait2はビデオの表現をポートレートに転送することでアニメーションビデオを生成し、従来のモーションキャプチャとキャラクターアニメーションの複雑なプロセスを簡素化できます。
このテクノロジーのコアは、大規模なデータセットでトレーニングされており、入力で小さな式を暗黙的にエンコードできる高度な絵文字エンコーダーモデルにあります。強力な生成拡散モデルと組み合わせて、X-Portrait2は、俳優の微妙な表情を伝える滑らかで表現力のあるビデオを生成できます。同時に、生成されたビデオは、感情的なパフォーマンスにおいて高い忠実度を維持しています。
絵文字エンコーダーをトレーニングするとき、開発チームは外観と動きの強い分離を保証し、エンコーダーがビデオの表現に関連する情報に集中できるようにします。この設計により、モデルはクロススタイルとクロスドメインの表現の移行を実現でき、実際のストーリーテリング、キャラクターアニメーション、仮想エージェント、視覚効果など、さまざまなシーンに適しています。
X-Portraitやrunway Act-oneなどの最先端の方法と比較して、X-Portrait2は、高速のヘッドの動きの精度が高いことを示し、高品質のアニメーションコンテンツの作成のための小さな表現の変化、個人的な感情伝達が重要です。アニメーションと映画制作のアニメーションコンテンツとして。
アドレス：https：//byteaigc.github.io/x-portrait2/
X-Portrait2テクノロジーの出現は、ポートレートアニメーションテクノロジーの別の飛躍を示しています。 。 詳細については、プロジェクトアドレスをご覧ください。