في 18 فبراير ، أعلن Kunlun Wanwei عن المصدر المفتوح لنموذج توليد الفيديو الأول في الصين لإنشاء الدراما القصيرة من الذكاء الاصطناعي Skyreels-V1 وأول خوارزمية قابلة للتحكم في التعبير على مستوى SOTA Skyreels-A1. تمثل هذه الخطوة الرئيسية خطوة مهمة في مجال توليد الفيديو من الذكاء الاصطناعى في الصين ، بهدف حل الحواجز التقنية ومشاكل التسويق الموجودة في نموذج توليد الفيديو الحالي وضخ الحيوية الجديدة في صناعة الدراما القصيرة من الذكاء الاصطناعي.
كأول نموذج توليد الفيديو مفتوح المصدر في الصين لإنشاء دراما قصيرة من الذكاء الاصطناعي ، لدى Skyreels-V1 بنية تقنية تدمج وحدات متعددة مثل توليد الشفاه وتوليد التعبير وتوليد الجسم ، وتحقيق التحكم الدقيق في تفاصيل عروض الشخصيات. تم تدريب هذا النموذج وضبطه بواسطة عشرات الملايين من بيانات هوليوود عالية الجودة ، مما يحسن بشكل كبير من إمكانية التحكم في توليد التعبير وتوليد الجسم ، ويوفر دعمًا فنيًا قويًا لإنشاء دراما قصيرة من الذكاء الاصطناعي.
يدعم Skyreels-V1 مجموعة متنوعة من 33 تعبيرًا دقيقًا من الشخصية و 400+ حركات طبيعية ، والتي يمكن أن تعيد تعبيرات عاطفية واقعية للغاية. لا تحتوي مقاطع الفيديو التي تنشئها على جماليات الضوء والظل على مستوى الفيلم ، ولكن يمكنها أيضًا تحقيق عروض التعبير الدقيقة على مستوى الأفلام للشخصيات. تجدر الإشارة بشكل خاص إلى أن Skyreels-V1 لا يدعم فيديو Wensheng فحسب ، بل يدعم أيضًا فيديو Tiesheng. إنه نموذج فيديو Tiesheng مع أكبر المعلمات في نموذج توليد الفيديو المفتوح المصدر الحالي.
على مستوى التنفيذ الفني ، يعتمد Skyreels-V1 على خط أنابيب تنظيف البيانات عالي الجودة ووضع العلامات اليدوي التي طورتها Kunlun Wanwei لبناء عشرات الملايين من الأفلام عالية الجودة والمسلسلات التلفزيونية والبيانات الوثائقية. قام الفريق أيضًا بتطوير نموذج متعدد الوسائط "المتمحور حول الإنسان" ، مما أدى إلى تحسين فهم الشخصيات في الفيديو بشكل كبير وقدم أساسًا تقنيًا قويًا للتحكم الدقيق للنموذج.
Skyreels-A1 هي أول خوارزمية قابلة للتحكم في نموذج التعبير على مستوى SOTA ، والتي تدعم التقاط التعبير على مستوى الفيلم الذي يحركه الفيديو ويدرك استعادة التعبير الدقيق عالي الدقة. يمكن أن تولد هذه الخوارزمية مقاطع فيديو ديناميكية ذات شخصية واقعية للغاية تستند إلى أي نسب جسم بشري. يأتي الواقع من الاستعادة العميقة للتفاصيل متعددة الأبعاد مثل تغييرات التعبير عن الشخصية ، والعواطف ، وملمس الجلد وحركات الجسم ، مما يوفر إمكانيات جديدة لإنشاء دراما قصيرة من الذكاء الاصطناعي.
تتمتع Skyreels-A1 بمزايا مهمة في التنفيذ الفني ، مما يدعم توليد التحكم في التعبير عن الوجوه الجانبية ، والتي يمكن أن تحقق أكثر واقعية للحواجب وتوليد التعبير الدقيق للعيون وحركات الرأس والجسم الطبيعي. مقارنةً بـ Runway Act-One ، لا يوجد في Skyreels-A1 تشويهًا في مقاطع الفيديو التي تم إنشاؤها ، وتفاصيل الأداء أكثر واقعية ، والتي يمكن أن تحقق مزيجًا طبيعيًا ومثاليًا من التعبيرات وحركات الجسم ، مما يوفر معايير تقنية أعلى لإنشاء الدراما القصيرة من الذكاء الاصطناعي.
كان Kunlun Wanwei يلتزم دائمًا بمفهوم المصدر المفتوح ويلتزم بتشجيع المساواة التكنولوجية. منذ أغسطس 2023 ، فتحت الشركة على التوالي نماذج متعددة مثل سلسلة "Tiangong" Skywork-13B ، ومجموعة أدوات البحث والتطوير الكاملة للمعلمة Digital Body AgentStudio ، و "Tiangong Big Model 3.0" 400 مليار Moe Super Model. يعد هذا Skyreels-V1 و Skyreels-A1 المصدر مفتوح المصدر في صناعة الدراما القصيرة من الذكاء الاصطناعي ، بهدف تقديم قدرات AIGC منخفضة التكلفة وأكثر تحكمًا للمستخدمين وتعزيز البناء المستمر والازدهار للنظام الإيكولوجي للدراما القصيرة من الذكاء الاصطناعي.
قال فانغ هان ، رئيس مجلس الإدارة والرئيس التنفيذي لشركة كونلون وانوي ، إن ظهور إمكانيات AIGC سيقلل بشكل كبير من تكلفة إنتاج الأفلام وتعزيز الحقوق المتساوية في الثقافة. في المستقبل ، سيستمر Kunlun Wanwei في فتح المزيد من نماذج وتوليد الفيديو والخوارزميات ، ويوفر المزيد من الاحتمالات لتطوير صناعة الدراما القصيرة الذكاء الاصطناعي ، وتعزيز التطبيق الواسع لتكنولوجيا الذكاء الاصطناعى في مجال إنشاء الأفلام والتلفزيون.
عنوان المصدر المفتوح:
Skyreels-V1
https://github.com/skyworkai/skyreels-v1
Skyreels-A1
https://github.com/skyworkai/skyreels-a1
التقرير الفني: https://skyworkai.github.io/skyreels-a1.github.io/report.pdf
العنوان الرسمي Skyreels: Skyreels.ai