talking head anime demo

รหัสตัวอย่างสำหรับ "อนิเมะหัวพูดจากภาพเดียว"

คุณอาจต้องการตรวจสอบเวอร์ชัน 2 ที่มีความสามารถมากขึ้นของซอฟต์แวร์เดียวกัน: http://github.com/pkhungurn/talking-head-anime-2-demo

ที่เก็บนี้มีรหัสสำหรับสองแอปพลิเคชันที่ใช้ประโยชน์จากระบบเครือข่ายประสาทในอนิเมะหัวพูดจากโครงการภาพเดียว:

• คู่มือ ช่วยให้ผู้ใช้โพสต์ตัวละครอนิเมะโดยการจัดการแถบเลื่อนด้วยตนเอง
• หุ่นเชิด ทำให้ตัวละครอนิเมะเลียนแบบการเคลื่อนไหวของศีรษะของการจับตัวของมนุษย์โดยฟีดเว็บแคม

ลองใช้คู่มือคู่มือบน Google Colab

หากคุณไม่มีฮาร์ดแวร์ที่จำเป็น (กล่าวถึงด้านล่าง) หรือไม่ต้องการดาวน์โหลดรหัสและตั้งค่าสภาพแวดล้อมเพื่อเรียกใช้ให้คลิกเพื่อลองใช้งานที่เกิดขึ้นด้วยตนเองบน Google Colab

ข้อกำหนดของฮาร์ดแวร์

เช่นเดียวกับโครงการการเรียนรู้ของเครื่องจักรที่ทันสมัยจำนวนมากที่เขียนด้วย Pytorch รหัสชิ้นนี้ต้องใช้ Nvidia GPU ล่าสุดและทรงพลัง ในการทำงาน ฉันได้เรียกใช้รหัสเป็นการส่วนตัวบน GeForce GTX 1080 TI และ TITAN RTX

นอกจากนี้เครื่องมือ Peppeteer ต้องใช้เว็บแคม

การพึ่งพาอาศัยกัน

• Python> = 3.6
• pytorch> = 1.4.0
• dlib> = 19.19
• OpenCv-Python> = 4.1.0.30
• หมอน> = 7.0.0
• numpy> = 1.17.l2

หากคุณติดตั้งแพ็คเกจเหล่านี้คุณควรจะดีทั้งหมด

การสร้างสภาพแวดล้อม Python ด้วย Anaconda

หากคุณใช้ Anaconda คุณยังมีตัวเลือกในการสร้างสภาพแวดล้อม Python ที่สามารถใช้งานการสาธิตได้ เปิดไดเรกทอรีเชลล์และเปลี่ยนไปยังรูทของโครงการ จากนั้นเรียกใช้คำสั่งต่อไปนี้:

conda env create -f environment.yml

สิ่งนี้ควรดาวน์โหลดและติดตั้งการอ้างอิงทั้งหมด อย่างไรก็ตามโปรดทราบว่าสิ่งนี้จะต้องใช้กิกะไบต์หลายแห่งในที่เก็บข้อมูลของคุณ หลังจากการติดตั้งเสร็จสิ้นคุณสามารถเปิดใช้งานสภาพแวดล้อมใหม่ด้วยคำสั่งต่อไปนี้:

conda activate talking-head-anime

เมื่อคุณทำสิ่งแวดล้อมเสร็จแล้วคุณสามารถปิดใช้งานได้ด้วย:

conda deactivate

เตรียมข้อมูล

หลังจากที่คุณโคลนที่เก็บนี้ไปยังที่เก็บของเครื่องของคุณคุณต้องดาวน์โหลดรุ่น:

• ดาวน์โหลดรุ่นหลักจากลิงค์นี้ คลายซิปไฟล์ลงในไดเรกทอรี data ภายใต้รูทของโครงการ โมเดลได้รับการเผยแพร่แยกต่างหากด้วยใบอนุญาต Creative Commons Attribution 4.0 International
• ดาวน์โหลด shape_predictor_68_face_landmarks.dat และบันทึกลงในไดเรกทอรี data คุณสามารถดาวน์โหลด BZIP Archive ได้จากที่นี่ อย่าลืมที่จะไม่บีบอัด

เมื่อทำการดาวน์โหลดเสร็จแล้วไดเรกทอรีข้อมูลควรมีลักษณะดังต่อไปนี้:

 + data
  + illust
    - placeholder.txt
    - waifu_00_256.png
    - waifu_01_256.png
    - waifu_02_256.png
    - waifu_03_256.png
    - waifu_04_256.png
  - combiner.pt
  - face_morpher.pt
  - placeholder.txt
  - shape_predictor_68_face_landmarks.dat
  - two_algo_face_rotator.pt

ในการเล่นกับการสาธิตคุณสามารถใช้ 5 ภาพที่ฉันรวมอยู่ใน data/illust หรือคุณสามารถเตรียมภาพตัวละครได้ด้วยตัวเอง รูปภาพที่สามารถเคลื่อนไหวได้จะต้องเป็นไปตามข้อกำหนดดังต่อไปนี้:

• ต้องอยู่ในรูปแบบ PNG
• ต้องมีขนาด 256 x 256
• หัวของตัวละครจะต้องอยู่ในกล่องกลาง 128 x 128
• ต้องมี 4 ช่อง (RGBA)
• พิกเซลที่ไม่ได้อยู่ในร่างกายของตัวละครจะต้องมีค่า (0,0,0,0) กล่าวอีกนัยหนึ่งพื้นหลังจะต้องโปร่งใส

สำหรับรายละเอียดเพิ่มเติมโปรดปรึกษาส่วนที่ 4 ของเว็บไซต์ของโครงการเขียนโครงการ คุณควรบันทึกภาพทั้งหมดในไดเรกทอรี data/illust วิธีหนึ่งที่ดีในการรับภาพตัวละครคือการสร้างภาพด้วย Waifu Labs และแก้ไขภาพเพื่อให้พอดีกับข้อกำหนดด้านบน

รันโปรแกรม

เปลี่ยนไดเรกทอรีเป็นไดเรกทอรีรากของโครงการ ในการเรียกใช้งานคู่มือให้ออกคำสั่งต่อไปนี้ในเชลล์ของคุณ:

python app/manual_poser.py

ในการเรียกใช้ Puppeteer ให้ออกคำสั่งต่อไปนี้ในเชลล์ของคุณ:

python app/puppeteer.py

การอ้างอิง

หากผลงานทางวิชาการของคุณได้รับประโยชน์จากรหัสในที่เก็บนี้โปรดอ้างอิงหน้าเว็บของโครงการดังนี้:

Pramook Khungurn การพูดถึงอะนิเมะหัวจากภาพเดียว http://pkhungurn.github.io/talking-head-anime/, 2019. เข้าถึงได้: yyyy-mm-dd

นอกจากนี้คุณยังสามารถใช้รายการ bibtex ต่อไปนี้:

 @misc{Khungurn:2019,
    author = {Pramook Khungurn},
    title = {Talking Head Anime from a Single Image},
    howpublished = {url{http://pkhungurn.github.io/talking-head-anime/}},
    year = 2019,
    note = {Accessed: YYYY-MM-DD},
}

คำเตือน

ในขณะที่ผู้เขียนเป็นพนักงานของ Google Japan ซอฟต์แวร์นี้ไม่ใช่ผลิตภัณฑ์ของ Google และไม่ได้รับการสนับสนุนจาก Google

ลิขสิทธิ์ของซอฟต์แวร์นี้เป็นของฉันตามที่ฉันได้ร้องขอโดยใช้กระบวนการ IARC อย่างไรก็ตามหนึ่งในเงื่อนไขสำหรับการเปิดตัวซอร์สโค้ดนี้คือการตีพิมพ์ "อนิเมะหัวพูดจากภาพเดียว" ได้รับการอนุมัติจากกระบวนการอนุมัติการตีพิมพ์ภายใน ฉันขออนุมัติเมื่อปี 2019/11/17 มันได้รับการตรวจสอบโดยนักวิจัย แต่ยังไม่ได้รับการอนุมัติอย่างเป็นทางการจากผู้จัดการในพื้นที่ผลิตภัณฑ์ของฉัน (Google Maps) ฉันตัดสินใจที่จะปล่อยรหัสนี้โดยมีความเสี่ยงทั้งหมดที่อาจเกิดขึ้น

ฉันใช้รหัสติดตามใบหน้าที่ใช้โดย Kwanhua Lee เพื่อใช้เครื่องมือ Puppeteer