تسمح Diffutoon، وهي أداة للذكاء الاصطناعي تم إطلاقها بشكل مشترك من قبل شركة علي بابا وجامعة شرق الصين العادية، بتحويل مقاطع الفيديو إلى نمط رسوم متحركة بنقرة واحدة، مما يغير عملية إنتاج الفيديو تمامًا. يستخدم تقنية توليد الصور المتقدمة بالذكاء الاصطناعي - نموذج الانتشار لتحويل مقاطع الفيديو الحقيقية إلى أنماط رسوم متحركة متنوعة، والحفاظ على الصورة سلسة وطبيعية وغنية بالتفاصيل، ودعم الإخراج عالي الدقة والتحرير الذكي. سواء كنت منشئ فيديو قصير أو محترفًا، يمكن لـ Diffutoon تقديم مساعدة إبداعية قوية، مما يجعل إنتاج الفيديو أسهل وأكثر متعة من أي وقت مضى.
تخيل أنك تحمل هاتفًا محمولًا في يدك، وتسجل مقطع فيديو حسب الرغبة، وبعد ذلك بنقرة واحدة، يتحول الفيديو بطريقة سحرية إلى صورة بأسلوب الرسوم المتحركة. هذا ليس حلما، هذه معجزة جلبها ديفوتون.
تعمل Diffutoon، وهي أداة للذكاء الاصطناعي تم تطويرها بالاشتراك بين شركة علي بابا وجامعة شرق الصين العادية، على جعل إنتاج الفيديو أسهل وأكثر متعة من أي وقت مضى بفضل سحرها الفريد.
الفيديو من الصفحة الرسمية للمشروع
يسلط الضوء على الميزة الرئيسية:
تحويل نمط الرسوم المتحركة: تحويل مقاطع الفيديو الواقعية إلى أنماط رسوم متحركة متنوعة، مما يسمح بالاتصال السلس بين الواقع والعالم ثنائي الأبعاد.
تناسق المحتوى: حافظ على تناسق محتوى الفيديو، وتجنب الوميض والتشويه، واجعل كل إطار سلسًا وطبيعيًا.
إخراج عالي الدقة: يدعم إنشاء مقاطع فيديو عالية الدقة وطويلة الأمد لتلبية احتياجات الإنتاج الاحترافية.
التحرير الذكي: قم بتحرير محتوى الفيديو بناءً على مطالبات المستخدم النصية، مثل تغيير الألوان أو إضافة تأثيرات خاصة.
الحفاظ على التفاصيل: يحافظ بدقة على الإضاءة والشعر والوضعية والتفاصيل الأخرى دون فقدان التجربة المرئية بأسلوب الرسوم المتحركة.
تحسين الدقة المنخفضة: حتى لو كانت دقة الفيديو المدخلة منخفضة، يمكن إخراج مقاطع فيديو عالية الجودة بأسلوب الرسوم المتحركة.
جوهر Diffutoon هو تقنية توليد الصور المتقدمة بالذكاء الاصطناعي - نموذج الانتشار. يقوم هذا النموذج بإنشاء صور ومقاطع فيديو جديدة من خلال التعلم من كميات كبيرة من بيانات الصور. تم تحسين Diffutoon على هذا الأساس، ليس فقط معالجة الصور الفردية، ولكن أيضًا تحويل مقاطع الفيديو إلى رسوم متحركة.
يقوم Diffutoon أولاً بتحليل كل إطار في الفيديو لالتقاط المعلومات الأساسية مثل حركات الشخصيات ووضعياتها، ثم يقوم بتحويل نمط الصورة إلى رسوم متحركة كرتونية مع الاحتفاظ بهذه المعلومات. العملية برمتها تشبه السحر، حيث تجعل الفيديو يبدو وكأنه رسوم متحركة مع الحفاظ على الحركة والبنية الأصلية.
باستخدام تقنيات فعالة مثل "Flash Attention"، يعمل Diffutoon على تحسين سرعة المعالجة بشكل كبير، وحتى مقاطع الفيديو عالية الوضوح التي يتم تصويرها بواسطة الهواتف المحمولة يمكن تحويلها بسرعة إلى تأثيرات رسوم متحركة.
لدى Diffutoon مجموعة واسعة من سيناريوهات التطبيق، بدءًا من إنتاج الرسوم المتحركة وتطوير الألعاب وحتى إنتاج المواد الإعلانية. بالنسبة لمنشئي مقاطع الفيديو القصيرة، فهي أداة إبداعية قوية تجعل إنشاء المحتوى أكثر تنوعًا.
على الرغم من أنه لا يزال بحاجة إلى التحسين عند التعامل مع المشاهد المعقدة أو الصور سريعة الحركة، إلا أنه لا يمكن الاستهانة بإمكانيات Diffutoon. مع التقدم التكنولوجي المستمر، لدينا سبب للاعتقاد بأن Diffutoon سيجلب تغييرات ثورية في صناعة الفيديو.
صفحة المشروع: https://top.aibase.com/tool/diffutoon
الكود: https://github.com/modelscope/DiffSynth-Studio
الورقة: https://arxiv.org/abs/2401.16224
يوفر Diffutoon إمكانيات جديدة في مجال إنتاج الفيديو من خلال تشغيله المريح ووظائفه القوية. على الرغم من أنه لا تزال هناك بعض المجالات التي تحتاج إلى التحسين، إلا أن إمكانات التطوير المستقبلية هائلة، ومن الجدير التطلع إلى المزيد من الإنجازات في مجال إنشاء الفيديو في المستقبل. قم بزيارة صفحة المشروع والمستودع لمعرفة المزيد.