talking head anime demo

Código de demostración para "anime de cabeza parlante de una sola imagen"

Es posible que desee consultar la versión 2 mucho más capaz del mismo software: http://github.com/pkhungen/talking-head-anime-2-demo

Este repositorio contiene código para dos aplicaciones que utilizan el sistema de red neuronal en el anime de la cabeza parlante de un solo proyecto de imagen:

• El Poser manual permite al usuario plantear un carácter de anime manipulando manipulaciones controladas.
• El titiritero hace que un personaje de anime imite el movimiento de la cabeza de la captura humana por una alimentación de la cámara web.

Prueba el manual Poser en Google Colab

Si no tiene el hardware requerido (discutido a continuación) o no desea descargar el código y configurar un entorno para ejecutarlo, haga clic para intentar ejecutar el manual Poser en Google Colab.

Requisitos de hardware

Al igual que con muchos proyectos modernos de aprendizaje automático escritos con Pytorch, este código requiere una GPU de NVIDIA reciente y poderosa para ejecutar. Personalmente he ejecutado el código en un GeForce GTX 1080 TI y un Titan RTX.

Además, la herramienta Peppeteer requiere una cámara web.

Dependencias

• Python> = 3.6
• pytorch> = 1.4.0
• dlib> = 19.19
• opencv-python> = 4.1.0.30
• almohada> = 7.0.0
• numpy> = 1.17.l2

Si instala estos paquetes, debería estar bien.

Recreando el entorno Python con Anaconda

Si usa Anaconda, también tiene la opción de recrear el entorno Python que se puede usar para ejecutar la demostración. Abra un directorio de shell y cambie a la raíz del proyecto. Luego, ejecute el siguiente comando:

conda env create -f environment.yml

Esto debería descargar e instalar todas las dependencias. Sin embargo, tenga en cuenta que esto requerirá varios gigabytes de su almacenamiento. Una vez realizada la instalación, puede activar el nuevo entorno con el siguiente comando:

conda activate talking-head-anime

Una vez que haya terminado con el entorno, puede desactivarlo con:

conda deactivate

Preparar los datos

Después de clonar este repositorio al almacenamiento de su máquina, debe descargar los modelos:

• Descargue los modelos principales de este enlace. Descomprima el archivo en el directorio data bajo la raíz del proyecto. Los modelos se lanzan por separado con la licencia Internacional Creative Commons Attribution 4.0.
• Descargue shape_predictor_68_face_landmarks.dat y guárdelo en el directorio data . Puede descargar el archivo BZIP desde aquí. No olvides descomprimir.

Una vez que se realiza la descarga, el directorio de datos debe verse como el siguiente:

 + data
  + illust
    - placeholder.txt
    - waifu_00_256.png
    - waifu_01_256.png
    - waifu_02_256.png
    - waifu_03_256.png
    - waifu_04_256.png
  - combiner.pt
  - face_morpher.pt
  - placeholder.txt
  - shape_predictor_68_face_landmarks.dat
  - two_algo_face_rotator.pt

Para jugar con la demostración, puede usar las 5 imágenes que incluí en los data/illust . O puede preparar algunas imágenes de personajes usted mismo. Las imágenes que pueden animarse deben satisfacer los siguientes requisitos:

• Debe estar en formato PNG.
• Debe ser de tamaño 256 x 256.
• La cabeza del personaje debe estar contenida en la caja del centro de 128 x 128.
• Debe tener 4 canales (RGBA).
• Los píxeles que no pertenecen al cuerpo del personaje deben tener valor (0,0,0,0). En otras palabras, el fondo debe ser transparente.

Para obtener más detalles, consulte la Sección 4 del sitio web de la redacción del proyecto. Debe guardar todas las imágenes en el directorio data/illust . Una buena manera de obtener imágenes de personajes es generar uno con Waifu Labs y editar la imagen para que se ajuste a los requisitos anteriores.

Ejecutando el programa

Cambie el directorio al directorio raíz del proyecto. Para ejecutar el manual Poser, emita el siguiente comando en su shell:

python app/manual_poser.py

Para ejecutar el titiritero, emita el siguiente comando en su shell:

python app/puppeteer.py

Citación

Si su trabajo académico se beneficia del código en este repositorio, cite la página web del proyecto de la siguiente manera:

PRAMOOK KHUNNGURN. Anime de la cabeza parlante de una sola imagen. http://pkhungun.github.io/talking-head-anime/, 2019. Accedido: aaa yyy-mm-dd.

También puede usar la siguiente entrada de Bibtex:

 @misc{Khungurn:2019,
    author = {Pramook Khungurn},
    title = {Talking Head Anime from a Single Image},
    howpublished = {url{http://pkhungurn.github.io/talking-head-anime/}},
    year = 2019,
    note = {Accessed: YYYY-MM-DD},
}

Descargo de responsabilidad

Si bien el autor es un empleado de Google Japón, este software no es el producto de Google y no es compatible con Google.

Los derechos de autor de este software me pertenecen como lo he solicitado utilizando el proceso IARC. Sin embargo, una de las condiciones para el lanzamiento de este código fuente es que la publicación del "anime de la cabeza parlante de una sola imagen" se aprobará mediante el proceso de aprobación de publicación interna. Solicité la aprobación el 2019/11/17. Ha sido revisado por un investigador, pero no ha sido aprobado formalmente por un gerente en mi área de productos (Google Maps). He decidido lanzar este código, con todos los riesgos en los que puede incurrir.

Hice uso de un código de rastreador facial implementado por Kwanhua Lee para implementar la herramienta Puppeteer.