مشروع Hallo مفتوح المصدر لجامعة فودان، وهو أداة لإنشاء مقاطع فيديو ناطقة تعتمد على الصوت والصور، يدعم الآن المكون الإضافي ComfyUI. من خلال نموذج نشر متقدم من طرف إلى طرف ووحدة تركيب بصري تعتمد على طبقات الصوت، يحقق المشروع مزامنة صوتية ومرئية عالية الدقة، بما في ذلك حركات الشفاه والتعبيرات والإيماءات، مما يجعل تأثيرات الفيديو التي تم إنشاؤها واقعية وطبيعية. على الرغم من أن عملية التثبيت قد تكون معقدة، إلا أن ظهور Hallo قد ضخ حيوية جديدة في مجتمع المصادر المفتوحة وقدم إمكانيات أوسع لمجال توليد الفيديو.
ويسمح مشروع Hallo لصور الوجه بالبدء في التحدث عن طريق إدخال الصوت، ويرافقه التعبيرات المقابلة، ويبدو التأثير طبيعيًا جدًا. يعتمد هذا المشروع نموذج نشر شامل ويقدم وحدة تركيب بصري متعددة الطبقات تعتمد على الصوت لتحسين دقة المحاذاة بين إدخال الصوت والإخراج المرئي، بما في ذلك حركات الشفاه والتعبيرات والإيماءات.
توفر وحدة التركيب البصري ذات الطبقات الصوتية تحكمًا تكيفيًا في تنوع التعبيرات والإيماءات، مما يحقق التخصيص الشخصي للهويات المختلفة بشكل أكثر فعالية. وهذا يعني أنه بغض النظر عن صورة الوجه، يمكن إنشاء فيديو ناطق من خلال مشروع Hallo، وسيكون التأثير طبيعيًا، كما لو كان شخصًا حقيقيًا يتحدث.
على الرغم من أن عملية تثبيت مشروع Hallo قد تكون معقدة نسبيًا، إلا أن ظهورها قد جلب بلا شك حيوية جديدة للنظام البيئي مفتوح المصدر. مع استمرار تطور التكنولوجيا، يمكننا أن نتوقع ظهور المزيد من هذه المشاريع في المستقبل، مما يجلب المزيد من الراحة والمتعة لحياتنا.
عنوان البرنامج الإضافي: https://github.com/AIFSH/ComfyUI-Hallo
بفضل تأثيرات إنشاء الفيديو الممتازة وميزاته مفتوحة المصدر، يوفر مشروع Hallo للمطورين والمستخدمين مساحة إبداعية غنية. أعتقد أنه مع تقدم التكنولوجيا ومساهمة المجتمع، سيكون لمشروع Hallo وظائف أكثر قوة وآفاق تطبيق أوسع، مما يوفر المزيد من الإمكانيات لإنشاء محتوى الوسائط المتعددة. ونحن نتطلع إلى المزيد من المشاريع المبتكرة المماثلة في المستقبل.