قادم عصر مقاطع الفيديو عالية الدقة ، ولكن غالبًا ما تكون تفاصيل الوجوه في مقاطع الفيديو منخفضة الوضوح غير واضحة ، مما يؤثر بشكل خطير على تجربة المشاهدة. يصعب موازنة تقنيات إصلاح الوجه الحالية مع إعادة بناء التفاصيل واتساق الوقت. طور فريق البحث في جامعة Nanyang التكنولوجية إطار عمل ، مما يوفر حلاً جديدًا لإصلاح الفيديو عالي الدقة.
في عصر المعلومات المتغيرة باستمرار ، أصبح الفيديو جزءًا لا غنى عنه من حياتنا. ومع ذلك ، فإن جودة مقاطع الفيديو غالباً ما تؤثر على تجربة المشاهدة لدينا ، خاصة في عرض تفاصيل الوجه.
العديد من الطرق الحالية لإصلاح وجه الفيديو إما هي ببساطة تطبيق شبكات الدقة الفائقة للفيديو على مجموعات بيانات الوجه ، أو معالجة كل صورة فيديو بشكل مستقل. غالبًا ما تجد هذه الطرق صعوبة في ضمان اتساق تفاصيل الوجه والوقت. لحل هذه المشكلة ، أطلق فريق الأبحاث في جامعة Nanyang Technology إطارًا جديدًا يسمى Keep (انتشار ميزة مستوحاة من Kalman) ، والذي يمكنه استعادة الوجوه في مقاطع الفيديو منخفضة التعريف إلى التعريف العالي.
بوابة المنتج: https://top.aibase.com/tool/keep
تأتي الفكرة الأساسية لـ Keep من مبدأ ترشيح Kalman ، والذي يعطي الطريقة القدرة على "الاستدعاء" في عملية الاسترداد. بمعنى آخر ، يمكن لـ Keep توجيه وضبط عملية إصلاح الإطار الحالي بمساعدة معلومات الإطارات التي تم استردادها مسبقًا. تعمل هذه العملية على تحسين اتساق واستمرارية تفاصيل الوجه في إطارات الفيديو.
في إطار Keep ، تنقسم العملية بأكملها إلى أربع وحدات: التشفير ، فك التشفير ، شبكة ترشيح Kalman واهتمام الإطار المتقاطع (CFA). يقوم التشفير ودلوبر ببناء نموذج يعتمد على شبكة عدوانية لتوليد كمية متغيرة (VQGAN) مخصصة لإنشاء صور الوجه عالية الدقة. شبكة ترشيح Kalman هي الجزء الأساسي من هذه التكنولوجيا.
بالإضافة إلى ذلك ، تعزز وحدة الانتباه عبر الإطار العلاقة بين الإطارات المختلفة ، مما يساعد على الحفاظ على توقيت أفضل وعرض تفصيلي أثناء تشغيل الفيديو. تفرد هذا التصميم هو أنه يمكنه دمج معلومات كل إطار بفعالية ، مما يجعل الفيديو الذي تم إنشاؤه النهائي واضحًا فحسب ، بل مليء أيضًا بالطبقات.
بعد الكثير من التجارب ، أكد فريق الأبحاث أن تقنية Keep تعمل بشكل جيد في استعادة تفاصيل الوجه والحفاظ على اتساق الوقت. تُظهر Keep قدراتها القوية ، سواء في بيئات المحاكاة المعقدة أو في سيناريوهات الفيديو الحقيقية. يمكن القول أن إطلاق هذه التكنولوجيا سيؤدي إلى تحسن جديد لتجربة عرض الفيديو لدينا.
النقاط الرئيسية:
يمكن أن تحافظ على التكنولوجيا بشكل فعال اتساق التفاصيل والوقت في مقاطع فيديو الوجه.
يجمع هذا الإطار بين مبدأ ترشيح Kalman لتحقيق النقل الفعال والاندماج لمعلومات بين الإطار.
حافظ على إمكانيات التقاط تفاصيل الوجه الممتازة في التجارب ، وحقن حيوية جديدة في مجال الدقة الفائقة لمقاطع فيديو الوجه.
يكمن ابتكار إطار Keep في تطبيقه الذكي لمبدأ تصفية Kalman وقدرته على دمج المعلومات بشكل فعال بين الإطارات ، ووضع معيار جديد لتقنية إصلاح الفيديو عالية الدقة ، ومن المتوقع أن يحسن بشكل كبير تجربة عرض الفيديو للمستخدم. في المستقبل ، سيكون لهذه التكنولوجيا آفاق تطبيقات واسعة في إنتاج الأفلام والتلفزيون ، ومؤتمرات الفيديو وغيرها من المجالات.