talking head anime demo

Kode demo untuk "pembicaraan kepala anime dari satu gambar"

Anda mungkin ingin melihat versi 2 yang jauh lebih mampu dari perangkat lunak yang sama: http://github.com/pkhungurn/talking-head-anime-2-demo

Repositori ini berisi kode untuk dua aplikasi yang memanfaatkan sistem jaringan saraf di anime kepala berbicara dari satu proyek gambar:

• Poser manual memungkinkan pengguna untuk berpose karakter anime dengan memanipulasi slider secara manual.
• Dalang membuat karakter anime meniru gerakan kepala penangkapan manusia dengan feed webcam.

Coba Poser Manual di Google Colab

Jika Anda tidak memiliki perangkat keras yang diperlukan (dibahas di bawah) atau tidak ingin mengunduh kode dan mengatur lingkungan untuk menjalankannya, klik untuk mencoba menjalankan poser manual di Google Colab.

Persyaratan perangkat keras

Seperti halnya banyak proyek pembelajaran mesin modern yang ditulis dengan Pytorch, kode ini membutuhkan GPU NVIDIA baru -baru ini dan kuat untuk dijalankan. Saya secara pribadi menjalankan kode pada GeForce GTX 1080 Ti dan Titan RTX.

Juga, alat peppeteer membutuhkan webcam.

Dependensi

• Python> = 3.6
• pytorch> = 1.4.0
• dlib> = 19.19
• opencv-python> = 4.1.0.30
• Bantal> = 7.0.0
• numpy> = 1.17.l2

Jika Anda memasang paket ini, Anda harus baik -baik saja.

Menciptakan kembali lingkungan Python dengan Anaconda

Jika Anda menggunakan Anaconda, Anda juga memiliki opsi untuk menciptakan kembali lingkungan Python yang dapat digunakan untuk menjalankan demo. Buka shell dan ubah direktori ke akar proyek. Kemudian, jalankan perintah berikut:

conda env create -f environment.yml

Ini harus mengunduh dan menginstal semua dependensi. Perlu diingat, bahwa ini akan membutuhkan beberapa gigabyte penyimpanan Anda. Setelah instalasi selesai, Anda dapat mengaktifkan lingkungan baru dengan perintah berikut:

conda activate talking-head-anime

Setelah selesai dengan lingkungan, Anda dapat menonaktifkannya dengan:

conda deactivate

Siapkan data

Setelah Anda mengkloning repositori ini ke penyimpanan mesin Anda, Anda perlu mengunduh model:

• Unduh model utama dari tautan ini. Buka zip file ke direktori data di bawah root proyek. Model -model ini dirilis secara terpisah dengan Lisensi Internasional Creative Commons Attribution 4.0.
• Unduh shape_predictor_68_face_landmarks.dat dan simpan ke direktori data . Anda dapat mengunduh arsip BZIP dari sini. Jangan lupa untuk tidak kompres.

Setelah pengunduhan selesai, direktori data akan terlihat seperti berikut:

 + data
  + illust
    - placeholder.txt
    - waifu_00_256.png
    - waifu_01_256.png
    - waifu_02_256.png
    - waifu_03_256.png
    - waifu_04_256.png
  - combiner.pt
  - face_morpher.pt
  - placeholder.txt
  - shape_predictor_68_face_landmarks.dat
  - two_algo_face_rotator.pt

Untuk bermain dengan demo, Anda dapat menggunakan 5 gambar yang saya sertakan dalam data/illust . Atau, Anda dapat menyiapkan beberapa gambar karakter sendiri. Gambar yang dapat dianimasikan harus memenuhi persyaratan berikut:

• Itu harus dalam format PNG.
• Itu harus berukuran 256 x 256.
• Kepala karakter harus terkandung di kotak tengah 128 x 128.
• Itu harus memiliki 4 saluran (RGBA).
• Piksel yang bukan milik tubuh karakter harus memiliki nilai (0,0,0,0). Dengan kata lain, latar belakang harus transparan.

Untuk detail lebih lanjut, konsultasikan bagian 4 dari situs web penulisan proyek. Anda harus menyimpan semua gambar di direktori data/illust . Salah satu cara yang baik untuk mendapatkan gambar karakter adalah dengan menghasilkan satu dengan laboratorium waifu dan mengedit gambar agar sesuai dengan persyaratan di atas.

Menjalankan program

Ubah direktori ke direktori root proyek. Untuk menjalankan poser manual, keluarkan perintah berikut di shell Anda:

python app/manual_poser.py

Untuk menjalankan dalang, keluarkan perintah berikut di shell Anda:

python app/puppeteer.py

Kutipan

Jika pekerjaan akademis Anda mendapat manfaat dari kode di repositori ini, silakan kutip halaman web proyek sebagai berikut:

Pramook Khungurn. Berbicara anime kepala dari satu gambar. http://pkhungurn.github.io/talking-head-anime/, 2019. Diakses: yyyy-mm-dd.

Anda juga dapat menggunakan entri Bibtex berikut:

 @misc{Khungurn:2019,
    author = {Pramook Khungurn},
    title = {Talking Head Anime from a Single Image},
    howpublished = {url{http://pkhungurn.github.io/talking-head-anime/}},
    year = 2019,
    note = {Accessed: YYYY-MM-DD},
}

Penafian

Meskipun penulisnya adalah karyawan Google Japan, perangkat lunak ini bukan produk Google dan tidak didukung oleh Google.

Hak cipta perangkat lunak ini adalah milik saya karena saya telah memintanya menggunakan proses IARC. Namun, salah satu kondisi untuk rilis kode sumber ini adalah bahwa publikasi "Talking Head Anime dari satu gambar" disetujui oleh proses persetujuan publikasi internal. Saya meminta persetujuan pada 2019/11/17. Ini telah ditinjau oleh seorang peneliti, tetapi belum disetujui secara resmi oleh manajer di area produk saya (Google Maps). Saya telah memutuskan untuk merilis kode ini, menanggung semua risiko yang mungkin ditimbulkannya.

Saya memanfaatkan kode pelacak wajah yang diimplementasikan oleh Kwanhua Lee untuk mengimplementasikan alat dalang.