talking head anime demo
1.0.0
同じソフトウェアのはるかに有能なバージョン2をチェックしてください：http：//github.com/pkhungurn/talking-head-anime-2-demo
このリポジトリには、単一の画像プロジェクトのTalking Headアニメでニューラルネットワークシステムを使用する2つのアプリケーションのコードが含まれています。
必要なハードウェアがない場合（以下で説明します）、またはコードをダウンロードして実行する環境を設定したくない場合は、クリックしてGoogle Colabでマニュアルポーザーを実行してみてください。
Pytorchで書かれた多くの最新の機械学習プロジェクトと同様に、このコードは、実行するには最近の強力なNvidia GPUが必要です。私は個人的にGeForce GTX 1080 TiとTitan RTXでコードを実行しました。
また、Peppeteerツールにはウェブカメラが必要です。
これらのパッケージをインストールする場合は、すべて良いはずです。
Anacondaを使用する場合、デモの実行に使用できるPython環境を再現するオプションもあります。シェルを開き、ディレクトリをプロジェクトのルートに変更します。次に、次のコマンドを実行します。
conda env create -f environment.yml
これにより、すべての依存関係をダウンロードしてインストールする必要があります。ただし、これにはいくつかのギガバイトのストレージが必要になることに留意してください。インストールが完了した後、次のコマンドで新しい環境をアクティブにすることができます。
conda activate talking-head-anime
環境が完了したら、次のように無効にすることができます。
conda deactivate
このリポジトリをマシンのストレージにクローニングした後、モデルをダウンロードする必要があります。
dataディレクトリに解凍します。モデルは、Creative Commons Attribution 4.0 International Licenseで個別にリリースされます。shape_predictor_68_face_landmarks.datをダウンロードして、 dataディレクトリに保存します。ここからBZIPアーカイブをダウンロードできます。非圧縮を忘れないでください。ダウンロードが完了したら、データディレクトリは次のようになります。
+ data
+ illust
- placeholder.txt
- waifu_00_256.png
- waifu_01_256.png
- waifu_02_256.png
- waifu_03_256.png
- waifu_04_256.png
- combiner.pt
- face_morpher.pt
- placeholder.txt
- shape_predictor_68_face_landmarks.dat
- two_algo_face_rotator.pt
デモで再生するには、 data/illustに含めた5つの画像を使用できます。または、自分でいくつかのキャラクター画像を準備することができます。アニメーション化できる画像は、次の要件を満たす必要があります。
詳細については、プロジェクトの書き込みのWebサイトのセクション4を参照してください。 data/illustディレクトリにすべての画像を保存する必要があります。キャラクターイメージを取得する良い方法の1つは、WAIFUラボを使用して生成し、上記の要件に合わせて画像を編集することです。
ディレクトリをプロジェクトのルートディレクトリに変更します。マニュアルポーザーを実行するには、シェルに次のコマンドを発行してください。
python app/manual_poser.py
操り人形師を実行するには、シェルに次のコマンドを発行してください。
python app/puppeteer.py
学術作業がこのリポジトリのコードの恩恵を受ける場合は、次のようにプロジェクトのWebページを引用してください。
プラムック・クンーン。単一の画像からのトーキングヘッドアニメ。 http://pkhungurn.github.io/talking-head-anime/、2019。アクセス：yyyymm-dd。
次のBibtexエントリを使用することもできます。
@misc{Khungurn:2019,
author = {Pramook Khungurn},
title = {Talking Head Anime from a Single Image},
howpublished = {url{http://pkhungurn.github.io/talking-head-anime/}},
year = 2019,
note = {Accessed: YYYY-MM-DD},
}
著者はGoogle Japanの従業員ですが、このソフトウェアはGoogleの製品ではなく、Googleによってサポートされていません。
このソフトウェアの著作権は、IARCプロセスを使用してリクエストしたため、私に属します。ただし、このソースコードのリリースの条件の1つは、「単一の画像からのTalking Headアニメ」の公開が、内部公開承認プロセスによって承認されることです。 2019/11/17に承認を要求しました。研究者によってレビューされましたが、私の製品エリア（Google Maps）のマネージャーによって正式に承認されていません。私はこのコードをリリースすることにしました。
Kwanhua Leeが実装したフェイストラッカーコードを使用して、操り人形師ツールを実装しました。
