您可能需要查看同一软件的功能更强大的版本2:http://github.com/pkhungurn/talking-head-anime-2-demo
该存储库包含两个应用程序的代码,可从单个图像项目中使用Talking Head动漫中的神经网络系统:
如果您没有所需的硬件(下面讨论)或不想下载代码并设置环境来运行它,请单击以尝试在Google Colab上运行手动摆动器。
与许多使用Pytorch编写的现代机器学习项目一样,此代码要求最近强大的NVIDIA GPU运行。我亲自在GEFORCE GTX 1080 TI和TITAN RTX上运行代码。
另外,Peppeteer工具需要一个网络摄像头。
如果您安装这些软件包,那么您应该很好。
如果使用Anaconda,您还可以选择重新创建可用于运行演示的Python环境。打开外壳并将目录更改为项目的根。然后,运行以下命令:
conda env create -f environment.yml
这应该下载并安装所有依赖项。但是请记住,这需要您的存储空间的几千兆字节。安装完成后,您可以使用以下命令来激活新环境:
conda activate talking-head-anime
完成环境后,您可以将其停用:
conda deactivate
将此存储库克隆到计算机的存储库后,您需要下载模型:
data目录中。这些模型通过Creative Commons归因4.0国际许可单独发布。shape_predictor_68_face_landmarks.dat并将其保存到data目录。您可以从这里下载BZIP档案。不要忘记取消压缩。下载完成后,数据目录应该看起来如下:
+ data
+ illust
- placeholder.txt
- waifu_00_256.png
- waifu_01_256.png
- waifu_02_256.png
- waifu_03_256.png
- waifu_04_256.png
- combiner.pt
- face_morpher.pt
- placeholder.txt
- shape_predictor_68_face_landmarks.dat
- two_algo_face_rotator.pt
要播放演示,您可以使用我包含在data/illust中的5个图像。或者,您可以自己准备一些角色图像。可以动画的图像必须满足以下要求:
有关更多详细信息,请咨询项目撰写网站第4节。您应该将所有图像保存在data/illust目录中。获得角色图像的一种好方法是与WAIFU实验室生成一个,并编辑图像以满足上述要求。
将目录更改为项目的根目录。要运行手动摆动器,请在外壳中发出以下命令:
python app/manual_poser.py
要运行Puppeteer,请在外壳中发出以下命令:
python app/puppeteer.py
如果您的学术工作从此存储库中的代码中受益,请引用该项目的网页如下:
Pramook khungurn。从单个图像中说话的动漫。 http://pkhungurn.github.io/talking-head-anime/,2019年。访问:yyyy-mm-dd。
您还可以使用以下Bibtex条目:
@misc{Khungurn:2019,
author = {Pramook Khungurn},
title = {Talking Head Anime from a Single Image},
howpublished = {url{http://pkhungurn.github.io/talking-head-anime/}},
year = 2019,
note = {Accessed: YYYY-MM-DD},
}
虽然作者是Google Japan的雇员,但该软件不是Google的产品,也没有Google的支持。
该软件的版权属于我,因为我使用IARC流程要求它。但是,发布此源代码的条件之一是在内部出版物批准过程中批准“从单个图像中说话的头动画”出版。我要求在2019/11/17批准。它已由研究人员进行了审查,但尚未得到我产品领域(Google Maps)经理的正式批准。我已经决定发布此代码,承担了它可能产生的所有风险。
我利用了Kwanhua Lee实施的面部跟踪器代码来实现Puppeteer工具。