IJCAI2023 CoNR

ภาษาอังกฤษ | 中文

การเรนเดอร์ระบบประสาทโดยใช้แผ่นอักขระอนิเมะ

บทความของเราได้รับการยอมรับจากแทร็กพิเศษของ IJCAI2023 (บทวิจารณ์สามบทที่มีการจัดอันดับ "ยอมรับ") การแก้ไขกระดาษมีให้ -> โปสเตอร์

2023/4/18: ชุดข้อมูลนี้มีอยู่ในตอนนี้ใน conr_dataset! -

หน้าสาธิต | Colab English/中文 | arxiv Bilibili | YouTube | conr_dataset

การแนะนำ

โครงการนี้เป็นการดำเนินการอย่างเป็นทางการของการแสดงผลประสาทร่วมกันโดยใช้แผ่นอักขระอะนิเมะซึ่งมีจุดมุ่งหมายที่จะทำวิดีโอการเต้นรำที่มีชีวิตชีวาจากแผ่นอักขระอะนิเมะที่วาดด้วยมือ (ACS) ¹ ดูการสาธิตและรายละเอียดเพิ่มเติมในวิดีโอที่เราแนะนำอย่างแน่นหนาใน Bilibili หรือ YouTube คำถามที่พบบ่อยของเราเกี่ยวกับ Zhihu (เป็นภาษาจีน) อธิบายความคิดที่สนับสนุน Conr

การใช้งาน

ข้อกำหนดเบื้องต้น

• nvidia gpu + cuda + cudnn
• Python 3.6

การติดตั้ง

• โคลนที่เก็บนี้

git clone https://github.com/megvii-research/CoNR

• การพึ่งพาอาศัยกัน

ในการติดตั้งการพึ่งพาทั้งหมดโปรดเรียกใช้คำสั่งต่อไปนี้

 cd CoNR
pip install -r requirements.txt

• ดาวน์โหลดน้ำหนักดาวน์โหลดน้ำหนักจาก Google Drive หรือคุณสามารถดาวน์โหลดได้จาก Baidu NetDisk (รหัสผ่าน: RDXC)

 mkdir weights && cd weights
gdown https://drive.google.com/uc?id=1M1LEpx70tJ72AIV2TQKr6NE_7mJ7tLYx
gdown https://drive.google.com/uc?id=1YvZy3NHkJ6gC3pq_j8agcbEJymHCwJy0
gdown https://drive.google.com/uc?id=1AOWZxBvTo9nUf2_9Y7Xe27ZFQuPrnx9i
gdown https://drive.google.com/uc?id=19jM1-GcqgGoE1bjmQycQw_vqD9C5e-Jm

เตรียมอินพุต

เราจัดทำลำดับท่าทางหนาแน่นสองตัวสำหรับสองอักขระ คุณสามารถสร้าง UDPS ได้มากขึ้นผ่านรุ่น 3D และการเคลื่อนไหวหมายถึงกระดาษของเราหรือใช้ MMD2UDP (ขอบคุณ @kurisumakise004) Baidu NetDisk (รหัสผ่าน: RDXC)

 # for short hair girl
gdown https://drive.google.com/uc?id=11HMSaEkN__QiAZSnCuaM6GI143xo62KO
unzip short_hair.zip
mv short_hair/ poses/

# for double ponytail girl
gdown https://drive.google.com/uc?id=1WNnGVuU0ZLyEn04HzRKzITXqib1wwM4Q
unzip double_ponytail.zip
mv double_ponytail/ poses/

เราให้ตัวอย่างอินพุตของแผ่นอักขระอนิเมะ คุณยังสามารถวาดด้วยตัวเองมากขึ้น แผ่นอักขระจะต้องถูกตัดออกจากพื้นหลังและในรูปแบบ PNG Baidu NetDisk (รหัสผ่าน: RDXC)

 # for short hair girl
gdown https://drive.google.com/uc?id=1r-3hUlENSWj81ve2IUPkRKNB81o9WrwT
unzip short_hair_images.zip
mv short_hair_images/ character_sheet/

# for double ponytail girl
gdown https://drive.google.com/uc?id=1XMrJf9Lk_dWgXyTJhbEK2LZIXL9G3MWc
unzip double_ponytail_images.zip
mv double_ponytail_images/ character_sheet/

วิ่ง!

• ด้วย Web UI (ขับเคลื่อนโดย Streamlit)

 streamlit run streamlit.py --server.port=8501

จากนั้นเปิดเบราว์เซอร์ของคุณและเยี่ยมชม localhost:8501 ทำตามคำแนะนำในการสร้างวิดีโอ

• ผ่านเทอร์มินัล

 mkdir {dir_to_save_result}

python -m torch.distributed.launch 
--nproc_per_node=1 train.py --mode=test 
--world_size=1 --dataloaders=2 
--test_input_poses_images={dir_to_poses} 
--test_input_person_images={dir_to_character_sheet} 
--test_output_dir={dir_to_save_result} 
--test_checkpoint_dir={dir_to_weights}

ffmpeg -r 30 -y -i {dir_to_save_result}/%d.png -r 30 -c:v libx264 output.mp4 -r 30

การอ้างอิง

 @inproceedings { lin2023conr ,
  title = { Collaborative Neural Rendering using Anime Character Sheets } ,
  author = { Lin, Zuzeng and Huang, Ailin and Huang, Zhewei } ,
  booktitle = { Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence (IJCAI) } ,
  year = { 2023 }
}

เชิงอรรถ

1. Zuzeng Lin ไม่ได้มีส่วนร่วมในการส่งไปยัง AAAI23 และ IJCAI23 ซึ่งทำโดยผู้เขียนคนอื่น ๆ หลังจากเห็นบทวิจารณ์ที่น่าเศร้าจาก CVPR22 และ ECCV22 เขาสำรวจความคิดในการช่วยเหลือการสร้างอนิเมะกับ AI และเสนอให้ Conr เป็นพื้นฐานในการแก้ปัญหาความสอดคล้องและการควบคุมศิลปะในตอนท้ายของปี 2563 ผู้เขียนคนอื่น ๆ ได้แก้ไขร่างของเขาในสถานะปัจจุบันและทำวิดีโอตัวอย่างหลังจากที่เขาเลิก เขาชื่นชมการสนทนากับผู้คนจำนวนมากที่มีความสนใจในโครงการนี้และผู้ใช้เบต้าสาธารณะ Live3D ในเดือนกันยายน 2564 ↩