talking head anime demo

رمز تجريبي لـ "Talking Head Anime من صورة واحدة"

قد ترغب في التحقق من الإصدار 2 أكثر قدرة على نفس البرنامج: http://github.com/pkhungurn/talking-head-anime-2-demo

يحتوي هذا المستودع على رمز لتطبيقين يستخدمون نظام الشبكة العصبية في أنيمي رئيس الحديث من مشروع صورة واحد:

• يسمح Poser اليدوي للمستخدم أن يطرح شخصية أنيمي عن طريق التلاعب يدويًا بمنزلقات.
• يجعل Puppeteer شخصية أنيمي يقلد حركة الرأس للالتقاط البشري عن طريق موجز كاميرا ويب.

جرب اليدوية المفرومة على Google Colab

إذا لم يكن لديك الأجهزة المطلوبة (تمت مناقشتها أدناه) أو لا ترغب في تنزيل الرمز وإعداد بيئة لتشغيلها ، فانقر لمحاولة تشغيل Poser اليدوي على Google Colab.

متطلبات الأجهزة

كما هو الحال مع العديد من مشاريع التعلم الآلي الحديثة المكتوبة مع Pytorch ، تتطلب هذه الكود وحدة معالجة الرسومات Nvidia الحديثة والقوية لتشغيلها. لقد قمت شخصيًا بتشغيل الرمز على GeForce GTX 1080 TI و Titan RTX.

أيضا ، تتطلب أداة Peppeteer كاميرا ويب.

التبعيات

• بيثون> = 3.6
• Pytorch> = 1.4.0
• dlib> = 19.19
• Opencv-Python> = 4.1.0.30
• وسادة> = 7.0.0
• numpy> = 1.17.l2

إذا قمت بتثبيت هذه الحزم ، فيجب أن تكون جيدًا.

إعادة إنشاء بيئة بيثون مع أناكوندا

إذا كنت تستخدم Anaconda ، فلديك أيضًا خيار إعادة إنشاء بيئة Python التي يمكن استخدامها لتشغيل العرض التوضيحي. افتح قذيفة وقم بتغيير الدليل إلى جذر المشروع. ثم ، قم بتشغيل الأمر التالي:

conda env create -f environment.yml

هذا ينبغي تنزيل وتثبيت جميع التبعيات. ضع في اعتبارك أن هذا سيتطلب عدة جيجابت من التخزين الخاص بك. بعد الانتهاء من التثبيت ، يمكنك تنشيط البيئة الجديدة مع الأمر التالي:

conda activate talking-head-anime

بمجرد الانتهاء من البيئة ، يمكنك إلغاء تنشيطها مع:

conda deactivate

إعداد البيانات

بعد استنساخ هذا المستودع لتخزين جهازك ، تحتاج إلى تنزيل النماذج:

• قم بتنزيل النماذج الرئيسية من هذا الرابط. قم بإلغاء ضغط الملف في دليل data ضمن جذر المشروع. يتم إصدار النماذج بشكل منفصل مع الترخيص الدولي Creative Commons Complishing 4.0.
• قم بتنزيل shape_predictor_68_face_landmarks.dat وحفظه في دليل data . يمكنك تنزيل أرشيف BZIP من هنا. لا تنسى إلغاء الضغط.

بمجرد الانتهاء من التنزيل ، يجب أن يبدو دليل البيانات كما يلي:

 + data
  + illust
    - placeholder.txt
    - waifu_00_256.png
    - waifu_01_256.png
    - waifu_02_256.png
    - waifu_03_256.png
    - waifu_04_256.png
  - combiner.pt
  - face_morpher.pt
  - placeholder.txt
  - shape_predictor_68_face_landmarks.dat
  - two_algo_face_rotator.pt

للعب مع العرض التوضيحي ، يمكنك استخدام الصور الخمس التي قمت بتضمينها في data/illust . أو يمكنك إعداد بعض صور الشخصية بنفسك. يجب أن تلبي الصور التي يمكن أن تكون متحركة المتطلبات التالية:

• يجب أن يكون في تنسيق PNG.
• يجب أن يكون حجم 256 × 256.
• يجب احتواء رأس الشخصية في مربع 128 × 128 في الوسط.
• يجب أن يكون لديها 4 قنوات (RGBA).
• يجب أن يكون للبكسلات التي لا تنتمي إلى جسم الشخصية قيمة (0،0،0،0). وبعبارة أخرى ، يجب أن تكون الخلفية شفافة.

لمزيد من التفاصيل ، راجع القسم 4 من موقع الويب الخاص بكتابة المشروع. يجب عليك حفظ جميع الصور في دليل data/illust . تتمثل إحدى الطرق الجيدة للحصول على صور الشخصية في إنشاء واحدة مع Waifu Labs وتحرير الصورة لتناسب المتطلبات أعلاه.

تشغيل البرنامج

تغيير الدليل إلى دليل الجذر للمشروع. لتشغيل اليدوي poser ، قم بإصدار الأمر التالي في قشرتك:

python app/manual_poser.py

لتشغيل Puppeteer ، قم بإصدار الأمر التالي في قشرتك:

python app/puppeteer.py

اقتباس

إذا كان عملك الأكاديمي يستفيد من الكود في هذا المستودع ، فيرجى الاستشهاد بصفحة الويب الخاصة بالمشروع على النحو التالي:

براموك خونغورن. الحديث عن رأس أنيمي من صورة واحدة. http://pkhungurn.github.io/talking-head-anime/ ، 2019. تم الوصول إليه: yyyy-mm-dd.

يمكنك أيضًا استخدام إدخال Bibtex التالي:

 @misc{Khungurn:2019,
    author = {Pramook Khungurn},
    title = {Talking Head Anime from a Single Image},
    howpublished = {url{http://pkhungurn.github.io/talking-head-anime/}},
    year = 2019,
    note = {Accessed: YYYY-MM-DD},
}

تنصل

على الرغم من أن المؤلف موظف في Google Japan ، فإن هذا البرنامج ليس منتج Google ولا يدعمه Google.

حقوق الطبع والنشر لهذا البرنامج ملكًا لي كما طلبت ذلك باستخدام عملية IARC. ومع ذلك ، فإن أحد شرط الإصدار من رمز المصدر هذا هو أن نشر "رئيس أنيمي الحديث من صورة واحدة" تتم الموافقة عليه من خلال عملية الموافقة على النشر الداخلي. طلبت موافقة في 2019/11/17. تمت مراجعته من قبل باحث ، ولكن لم تتم الموافقة عليه رسميًا من قبل مدير في منطقة منتجي (خرائط Google). لقد قررت إصدار هذا الرمز ، وتحمل جميع المخاطر التي قد تتحملها.

لقد استفدت من رمز تعقب الوجه الذي تم تنفيذه بواسطة Kwanhua Lee لتنفيذ أداة Puppeteer.