في الآونة الأخيرة ، حقق مختبر Alibaba Tongyi اختراقًا كبيرًا في مجال إعادة بناء جسم الإنسان ثلاثي الأبعاد وأطلق تقنية مبتكرة تسمى LHM (نموذج إعادة بناء جسم الإنسان الكبير). لا تجلب هذه التكنولوجيا اتجاهًا جديدًا للتطوير لهذا المجال فحسب ، بل تعمل أيضًا على توسيع آفاق تطبيقها بشكل كبير.
لطالما كانت إعادة بناء الجسم ثلاثية الأبعاد من صورة واحدة مهمة صعبة ، ويرجع ذلك أساسًا إلى غموض الهندسة والمظهر وفصل التشوه. يركز معظم التقدم الأخير الحالي للبحث على النمذجة البشرية الثابتة ، وغالبًا ما تعتمد هذه الأساليب على عمليات مسح ثلاثية الأبعاد الاصطناعية للتدريب ، مما يحد إلى حد كبير من قدرتها على التعميم في السيناريوهات الحقيقية. في الوقت نفسه ، لا تتطلب طريقة الفيديو المستندة إلى التحسين تحكمًا صارمًا في ظروف الالتقاط فحسب ، بل تتميز أيضًا بعمليات حوسبة مكثفة للغاية ، مما يجعل من الصعب تلبية احتياجات التطبيقات العملية.
استجابة لهذه الصعوبات ، ظهر نموذج LHM. يعتمد النموذج بشكل مبتكر بنية محول متعددة الوسائط ، ومن خلال آلية اهتمام قوية ، يمكنه تشفير ميزات الموضع البشري وميزات الصور بشكل فعال. لا تسمح هذه الهندسة المعمارية LHM ليس فقط لإعادة بناء هندسة جسم الإنسان ، ولكن أيضًا الحفاظ على الأشكال الهندسية والقوام للملابس بالتفصيل ، مما يوفر للمستخدمين عارضة أزياء ثلاثية الأبعاد أكثر واقعية وحساسة.
تجدر الإشارة إلى أن LHM اقترح أيضًا نظام ترميز هرم ميزة الرأس. يعمل هذا الحل على تحسين قدرة النموذج على التقاط تفاصيل الرأس البشري من خلال تجميع الخصائص متعددة النطاق لمنطقة الرأس ، مما يجعل نموذج جسم الإنسان ثلاثي الأبعاد الذي تم إنشاؤه أكثر واقعية في أداء الرأس. في التطبيقات العملية ، تُظهر LHM كفاءة مذهلة ، قادرة على توليد رسوم متحركة معقولة من الأجسام البشرية في بضع ثوانٍ فقط ، ولا يلزم إجراء أي ما بعد المعالجة المعقدة ، وتوفير الوقت بشكل كبير وتكاليف العمالة.
بعد الكثير من التحقق التجريبي ، يكون LHM أفضل من الأساليب الحالية من حيث دقة إعادة الإعمار وقدرة التعميم. سواء في السيناريوهات المعقدة أو في ظل ظروف إضاءة مختلفة ، يمكن لـ LHM إخراج نتائج إعادة بناء جسم الإنسان ثلاثية الأبعاد عالية الجودة بشكل ثابت.
العنوان: https://lingtengqiu.github.io/lhm/