您可能需要查看同一軟件的功能更強大的版本2:http://github.com/pkhungurn/talking-head-anime-2-demo
該存儲庫包含兩個應用程序的代碼,可從單個圖像項目中使用Talking Head動漫中的神經網絡系統:
如果您沒有所需的硬件(下面討論)或不想下載代碼並設置環境來運行它,請單擊以嘗試在Google Colab上運行手動擺動器。
與許多使用Pytorch編寫的現代機器學習項目一樣,此代碼要求最近強大的NVIDIA GPU運行。我親自在GEFORCE GTX 1080 TI和TITAN RTX上運行代碼。
另外,Peppeteer工具需要一個網絡攝像頭。
如果您安裝這些軟件包,那麼您應該很好。
如果使用Anaconda,您還可以選擇重新創建可用於運行演示的Python環境。打開外殼並將目錄更改為項目的根。然後,運行以下命令:
conda env create -f environment.yml
這應該下載並安裝所有依賴項。但是請記住,這需要您的存儲空間的幾千兆字節。安裝完成後,您可以使用以下命令來激活新環境:
conda activate talking-head-anime
完成環境後,您可以將其停用:
conda deactivate
將此存儲庫克隆到計算機的存儲庫後,您需要下載模型:
data目錄中。這些模型通過Creative Commons歸因4.0國際許可單獨發布。shape_predictor_68_face_landmarks.dat並將其保存到data目錄。您可以從這裡下載BZIP檔案。不要忘記取消壓縮。下載完成後,數據目錄應該看起來如下:
+ data
+ illust
- placeholder.txt
- waifu_00_256.png
- waifu_01_256.png
- waifu_02_256.png
- waifu_03_256.png
- waifu_04_256.png
- combiner.pt
- face_morpher.pt
- placeholder.txt
- shape_predictor_68_face_landmarks.dat
- two_algo_face_rotator.pt
要播放演示,您可以使用我包含在data/illust中的5個圖像。或者,您可以自己準備一些角色圖像。可以動畫的圖像必須滿足以下要求:
有關更多詳細信息,請諮詢項目撰寫網站第4節。您應該將所有圖像保存在data/illust目錄中。獲得角色圖像的一種好方法是與WAIFU實驗室生成一個,並編輯圖像以滿足上述要求。
將目錄更改為項目的根目錄。要運行手動擺動器,請在外殼中發出以下命令:
python app/manual_poser.py
要運行Puppeteer,請在外殼中發出以下命令:
python app/puppeteer.py
如果您的學術工作從此存儲庫中的代碼中受益,請引用該項目的網頁如下:
Pramook khungurn。從單個圖像中說話的動漫。 http://pkhungurn.github.io/talking-head-anime/,2019年。訪問:yyyy-mm-dd。
您還可以使用以下Bibtex條目:
@misc{Khungurn:2019,
author = {Pramook Khungurn},
title = {Talking Head Anime from a Single Image},
howpublished = {url{http://pkhungurn.github.io/talking-head-anime/}},
year = 2019,
note = {Accessed: YYYY-MM-DD},
}
雖然作者是Google Japan的僱員,但該軟件不是Google的產品,也沒有Google的支持。
該軟件的版權屬於我,因為我使用IARC流程要求它。但是,發布此源代碼的條件之一是在內部出版物批准過程中批准“從單個圖像中說話的頭動畫”出版。我要求在2019/11/17批准。它已由研究人員進行了審查,但尚未得到我產品領域(Google Maps)經理的正式批准。我已經決定發布此代碼,承擔了它可能產生的所有風險。
我利用了Kwanhua Lee實施的面部跟踪器代碼來實現Puppeteer工具。