talking head anime 2 demo Download - talking head anime 2 demo Source Code Download

talking head anime 2 demo

شفرة المصدر الأخرى

1.0.0

تنزيل

رمز تجريبي لـ "Talking Head Anime من صورة واحدة 2: أكثر تعبيراً"

يحتوي هذا المستودع على برامج تجريبية لرأس الحديث من صورة واحدة 2: مشروع أكثر تعبيرا. على غرار الإصدار السابق ، له برنامجان:

يتيح لك manual_poser معالجة تعبير الوجه وتناوب الرأس لشخصية أنيمي ، الواردة في صورة واحدة ، من خلال واجهة مستخدم رسومية. يتوفر Poser في نموذجين: تطبيق واجهة المستخدم الرسومية القياسية ، ودفتر Jupyter.
يتيح لك ifacialmocap_puppeteer نقل حركة الوجه الخاصة بك ، والتي تم التقاطها بواسطة تطبيق iOS التجاري المسمى ifacialmocap ، إلى صورة لحرف أنيمي.

جرب اليدوية المفرومة على Google Colab

إذا لم يكن لديك الأجهزة المطلوبة (تمت مناقشتها أدناه) أو لا ترغب في تنزيل الرمز وإعداد بيئة لتشغيلها ، فانقر لمحاولة تشغيل Poser اليدوي على Google Colab.

متطلبات الأجهزة

يتطلب كلا البرنامجين تشغيل NVIDIA GPU حديثًا وقويًا. كان بإمكاني ركضهم شخصيًا بسرعة جيدة مع Nvidia Titan RTX. ومع ذلك ، أعتقد أن وحدات معالجة الرسومات للألعاب المتطورة الأخيرة مثل RTX 2080 ، أو RTX 3080 ، أو من الأفضل أن تفعل ذلك أيضًا.

يتطلب ifacialmocap_puppeteer جهاز iOS قادر على حساب معلمات شكل مزيج من خلاصة الفيديو. هذا يعني أن الجهاز يجب أن يكون قادرًا على تشغيل iOS 11.0 أو أعلى ويجب أن يحتوي على كاميرا أمامية truedepth. (راجع هذه الصفحة لمزيد من المعلومات.) وبعبارة أخرى ، إذا كان لديك iPhone X أو شيء أفضل ، فيجب أن يتم تعيينك جميعًا. شخصيا ، لقد استخدمت iPhone 12 mini.

متطلبات البرمجيات

تم كتابة كلا البرنامجين في Python 3. لتشغيل واجهة المستخدم الرسومية ، مطلوب حزم البرامج التالية:

بيثون> = 3.8
Pytorch> = 1.7.1 مع دعم CUDA
Scipy> = 1.6.0
wxpython> = 4.1.1
matplotlib> = 3.3.4

على وجه الخصوص ، قمت بإنشاء البيئة لتشغيل البرامج مع Anaconda ، باستخدام الأوامر التالية:

 > conda create -n talking-head-anime-2-demo python=3.8
> conda activate talking-head-anime-2-demo
> conda install pytorch torchvision cudatoolkit=10.2 -c pytorch
> conda install scipy
> pip install wxPython
> conda install matplotlib

ملاحظة: قد تجد أن الإصدارات الخاصة من Python (3.8) و CUDA أدوات (10.2) قد لا تعمل مع إعداد الكمبيوتر الخاص بك. عندما يحدث هذا ، استبدل هذه الإصدارات بتلك التي تعمل مع أجهزتك. سيصبح الأمر:

 > conda create -n talking-head-anime-2-demo python=[YOUR-PYTHON-VERSION]
> conda activate talking-head-anime-2-demo
> conda install pytorch torchvision cudatoolkit=[YOUR-CUDA-TOOLKIT-VERSION] -c pytorch
> conda install scipy
> pip install wxPython
> conda install matplotlib

بشكل عام ، فإن أحدث إصدار من Python وأحدث إصدار من مجموعة أدوات CUDA المعروضة على موقع Pytorch سيعمل.

لتشغيل نسخة دفتر Jupyter من manual_poser ، تحتاج أيضًا إلى:

دفتر Jupyter> = 6.2.0
IpyWidgets> = 7.6.3

هذا يعني أنه ، بالإضافة إلى الأوامر أعلاه ، تحتاج أيضًا إلى تشغيل:

 > conda install -c conda-forge notebook
> conda install -c conda-forge ipywidgets
> jupyter nbextension enable --py widgetsnbextension

أخيرًا ، يتطلب ifacialmocap_puppeteer ifacialmocap ، المتوفرة في متجر التطبيقات لمدة 980 ين. تحتاج أيضًا إلى تثبيت تطبيق سطح المكتب المقترن على جهاز الكمبيوتر الخاص بك أو Mac. (مستخدمي Linux ، أنا آسف!) يجب أن يستخدم جهاز iOS الخاص بك ويجب على جهاز الكمبيوتر الخاص بك أيضًا استخدام الشبكة نفسها. (على سبيل المثال ، يمكنك توصيلهم بنفس جهاز التوجيه اللاسلكي.)

بناء البيئة التلقائي مع أناكوندا

يمكنك أيضًا استخدام Anaconda لتنزيل وتثبيت جميع حزم Python في أمر واحد. افتح قشرة الخاص بك ، قم بتغيير الدليل إلى المكان الذي تقوم فيه باستنساخ المستودع ، وتشغيله:

 conda env create -f environment.yml

سيؤدي ذلك إلى إنشاء بيئة تسمى talking-head-anime-2-demo تحتوي على جميع حزم Python المطلوبة.

قم بتنزيل النموذج

قبل تشغيل البرامج ، تحتاج إلى تنزيل ملفات النماذج من رابط Dropbox هذا وفك ضغطه إلى مجلد data في دليل المستودع. في النهاية ، يجب أن يبدو مجلد data :

 + data
  + illust
    - waifu_00.png
    - waifu_01.png
    - waifu_02.png
    - waifu_03.png
    - waifu_04.png
    - waifu_05.png
    - waifu_06.png
    - waifu_06_buggy.png
  - combiner.pt
  - eyebrow_decomposer.pt
  - eyebrow_morphing_combiner.pt
  - face_morpher.pt
  - two_algo_face_rotator.pt

يتم توزيع ملفات النموذج مع ترخيص Creative Commons Conferibution 4.0 International ، مما يعني أنه يمكنك استخدامها لأغراض تجارية. ومع ذلك ، إذا قمت بتوزيعها ، فيجب عليك ، من بين أشياء أخرى ، أن تقول أنني الخالق.

تشغيل تطبيق سطح المكتب `manual_poser`

افتح قذيفة. قم بتغيير دليل العمل الخاص بك إلى دليل الجذر للمستودع. ثم ، قم بالتشغيل:

 > python tha2/app/manual_poser.py

لاحظ أنه قبل تشغيل الأمر أعلاه ، قد تضطر إلى تنشيط بيئة Python التي تحتوي على الحزم المطلوبة. إذا قمت بإنشاء بيئة باستخدام Anaconda كما تمت مناقشتها أعلاه ، فأنت بحاجة إلى الجري

 > conda activate talking-head-anime-2-demo

إذا لم تكن قد قمت بالفعل بتنشيط البيئة.

تشغيل دفتر Notebook `manual_poser`

افتح قذيفة. تنشيط البيئة. قم بتغيير دليل العمل الخاص بك إلى دليل الجذر للمستودع. ثم ، قم بالتشغيل:

 > jupyter notebook

يجب أن تفتح نافذة المتصفح. في ذلك ، افتح tha2.ipynb . بمجرد القيام بذلك ، يجب أن ترى أن لديها خلية واحدة فقط. قم بتشغيله. ثم ، قم بالتمرير لأسفل إلى نهاية المستند ، وسترى واجهة المستخدم الرسومية هناك.

تشغيل `ifacialmocap_puppeteer`

أولاً ، قم بتشغيل IfacialMocap على جهاز iOS الخاص بك. يجب أن يوضح لك عنوان IP الخاص بالجهاز. تدوينه. الحفاظ على التطبيق مفتوح.

IP address in iFacialMocap screen

ثم ، قم بتشغيل تطبيق سطح المكتب المصاحب.

iFaciaMocap desktop application

انقر فوق "فتح الإعداد المتقدم >>". يجب أن يتوسع التطبيق.

Click the 'Open Advanced Setting >>' button.

انقر فوق الزر الذي يقول "Maya" على الجانب الأيمن.

Click the 'Maya' button.

ثم ، انقر فوق "Blender".

Select 'Blender' mode in the desktop application

بعد ذلك ، استبدل عنوان IP على الجانب الأيسر بعنوان IP الخاص بجهاز iOS.

Replace IP address with device's IP address.

انقر فوق "الاتصال بـ Blender."

Click 'Connect to Blender.'

افتح قذيفة. تنشيط البيئة. قم بتغيير دليل العمل الخاص بك إلى دليل الجذر للمستودع. ثم ، قم بالتشغيل:

 > python tha2/app/ifacialmocap_puppeteer.py

إذا كانت البرامج متصلة بشكل صحيح ، فيجب أن ترى أن العديد من التقدم في أسفل نافذة ifacialmocap_puppeteer يجب أن تتحرك عند تحريك وجهك أمام الكاميرا الأمامية لجهاز iOS.

You should see the progress bars moving.

إذا كان كل شيء على ما يرام ، قم بتحميل صورة حرف ، ويجب أن تتبع حركة الوجه.

قيود على صور الإدخال

لكي يعمل النموذج بشكل جيد ، يجب أن تطيع صورة الإدخال القيود التالية:

يجب أن يكون لها قناة ألفا.
يجب أن تحتوي على شخصية أنيمية بشرية واحدة فقط.
يجب أن تنظر الشخصية مباشرة إلى الأمام.
يجب أن يكون رأس الشخصية موجودًا تقريبًا في مربع 128 × 128 في منتصف.
يجب أن يكون لجميع وحدات البكسل التي لا تنتمي إلى الحرف (أي بكسل الخلفية) قناة ألفا (أ) 0.

لاحظ ، ومع ذلك ، أنه بغض النظر عن حجم صورة الإدخال ، فإن البرامج ستقوم دائمًا بتغيير حجمها إلى 256 × 256 وستقوم دائمًا بإخراج صورة 256x256. هذا هو قيود جوهرية للنظام.

Image specification

اقتباس

إذا كان عملك الأكاديمي يستفيد من الكود في هذا المستودع ، فيرجى الاستشهاد بصفحة الويب الخاصة بالمشروع على النحو التالي:

براموك خونغورن. الحديث عن الرأس من صورة واحدة 2: أكثر تعبيرا. http://pkhungurn.github.io/talking-head-anime-2/ ، 2021. تم الوصول إليه: yyyy-mm-dd.

يمكنك أيضًا استخدام إدخال Bibtex التالي:

 @misc{Khungurn:2021,
    author = {Pramook Khungurn},
    title = {Talking Head Anime from a Single Image 2: More Expressive},
    howpublished = {url{http://pkhungurn.github.io/talking-head-anime-2/}},
    year = 2021,
    note = {Accessed: YYYY-MM-DD},
}