talking head anime demo
1.0.0
Möglicherweise möchten Sie sich die viel fähigere Version 2 derselben Software ansehen: http://github.com/pkhungurn/talking-head-anime-2-demo
Dieses Repository enthält Code für zwei Anwendungen, die das neuronale Netzwerksystem im Talking Head -Anime von einem einzelnen Image -Projekt verwenden:
Wenn Sie nicht über die erforderliche Hardware (unten besprochen werden) oder den Code nicht herunterladen und eine Umgebung einrichten möchten, um ihn auszuführen, klicken Sie auf, um den manuellen Poser auf Google Colab auszuführen.
Wie bei vielen mit Pytorch geschriebenen modernen maschinellen Lernprojekten erfordert dieses Code eine aktuelle und leistungsstarke NVIDIA -GPU . Ich habe den Code persönlich auf einem GeForce GTX 1080 TI und einem Titan RTX ausgeführt.
Außerdem erfordert das Peppeteer -Tool eine Webcam.
Wenn Sie diese Pakete installieren, sollten Sie alle gut sein.
Wenn Sie Anaconda verwenden, haben Sie auch die Möglichkeit, die Python -Umgebung wiederherzustellen, mit der die Demo ausgeführt werden kann. Öffnen Sie eine Shell und ändern Sie das Verzeichnis in die Wurzel des Projekts. Führen Sie dann den folgenden Befehl aus:
conda env create -f environment.yml
Dies sollte alle Abhängigkeiten herunterladen und installieren. Denken Sie jedoch daran, dass dies mehrere Gigabyte Ihres Speichers erfordern. Nach Abschluss der Installation können Sie die neue Umgebung mit dem folgenden Befehl aktivieren:
conda activate talking-head-anime
Sobald Sie mit der Umgebung fertig sind, können Sie es mit:
conda deactivate
Nachdem Sie dieses Repository in den Speicher Ihres Computers geklont haben, müssen Sie die Modelle herunterladen:
data unter dem Projekt des Projekts. Die Modelle werden getrennt mit der internationalen Lizenz der Creative Commons Attribution 4.0 veröffentlicht.shape_predictor_68_face_landmarks.dat herunter und speichern Sie es im data . Sie können das BZIP -Archiv von hier herunterladen. Vergessen Sie nicht, sich zu entfernen.Sobald das Download abgeschlossen ist, sollte das Datenverzeichnis wie folgt aussehen:
+ data
+ illust
- placeholder.txt
- waifu_00_256.png
- waifu_01_256.png
- waifu_02_256.png
- waifu_03_256.png
- waifu_04_256.png
- combiner.pt
- face_morpher.pt
- placeholder.txt
- shape_predictor_68_face_landmarks.dat
- two_algo_face_rotator.pt
Um mit der Demo zu spielen, können Sie die 5 Bilder verwenden, die ich in den data/illust aufgenommen habe. Oder Sie können einige Charakterbilder selbst vorbereiten. Bilder, die animiert werden können, müssen die folgenden Anforderungen erfüllen:
Weitere Informationen finden Sie in Abschnitt 4 der Website des Projektschreibens. Sie sollten alle Bilder im data/illust -Verzeichnis speichern. Eine gute Möglichkeit, Zeichenbilder zu erhalten, besteht darin, eine mit Waifu -Labors zu generieren und das Bild so zu bearbeiten, dass sie die oben genannten Anforderungen entsprechen.
Ändern Sie das Verzeichnis in das Stammverzeichnis des Projekts. Um den manuellen Poser auszuführen, geben Sie den folgenden Befehl in Ihrer Shell aus:
python app/manual_poser.py
Um den Puppenspieler auszuführen, geben Sie den folgenden Befehl in Ihrer Shell aus:
python app/puppeteer.py
Wenn Ihre akademische Arbeit aus dem Code in diesem Repository profitiert, zitieren Sie bitte die Webseite des Projekts wie folgt:
Pramook Khungurn. Talking Head Anime aus einem einzigen Bild. http://pkhungurn.github.io/talking-head-anime/, 2019. Zugriff: yyyy-mm-dd.
Sie können auch den folgenden Bibtex -Eintrag verwenden:
@misc{Khungurn:2019,
author = {Pramook Khungurn},
title = {Talking Head Anime from a Single Image},
howpublished = {url{http://pkhungurn.github.io/talking-head-anime/}},
year = 2019,
note = {Accessed: YYYY-MM-DD},
}
Während der Autor ein Mitarbeiter von Google Japan ist, ist diese Software nicht das Produkt von Google und wird von Google nicht unterstützt.
Das Urheberrecht dieser Software gehört mir, da ich sie mit dem IARC -Prozess angefordert habe. Eine der Bedingungen für die Veröffentlichung dieses Quellcode ist jedoch, dass die Veröffentlichung des "Talking Head Anime aus einem einzigen Bild" durch den internen Veröffentlichungsgenehmigungsprozess genehmigt wird. Ich habe am 11.11.17 die Genehmigung beantragt. Es wurde von einem Forscher überprüft, wurde jedoch von einem Manager in meinem Produktbereich (Google Maps) nicht offiziell genehmigt. Ich habe beschlossen, diesen Code zu veröffentlichen und alle Risiken zu tragen, die er möglicherweise entstehen kann.
Ich habe einen von Kwanhua Lee implementierten Gesichts -Tracker -Code verwendet, um das Puppenspieler -Tool zu implementieren.
