IJCAI2023 CoNR

英語| 中文

使用動漫角色表的協作神經渲染

我們的論文被IJCAI2023的特殊軌道接受（三個帶有“接受”評級的評論），請參閱該論文的修訂。 - >海報

2023/4/18：數據集現在可以在CONR_DATASET中可用！ ？

演示頁面| COLAB英語/中文| arxiv |比利比利| YouTube | conr_dataset

介紹

該項目是使用動漫角色表的合作神經渲染的正式實施，該角色旨在通過手繪動漫角色表（ACS）產生生動的舞蹈視頻。 ¹在比利比利或YouTube中牢固推薦的視頻中觀看更多演示和詳細信息。我們關於Zhihu（中文）的常見問題解釋了Conr的思想。

用法

先決條件

• nvidia gpu + cuda + cudnn
• Python 3.6

安裝

• 克隆這個存儲庫

git clone https://github.com/megvii-research/CoNR

• 依賴性

要安裝所有依賴項，請運行以下命令。

 cd CoNR
pip install -r requirements.txt

• 從Google Drive下載權重下載權重。另外，您可以從Baidu NetDisk（密碼：RDXC）下載。

 mkdir weights && cd weights
gdown https://drive.google.com/uc?id=1M1LEpx70tJ72AIV2TQKr6NE_7mJ7tLYx
gdown https://drive.google.com/uc?id=1YvZy3NHkJ6gC3pq_j8agcbEJymHCwJy0
gdown https://drive.google.com/uc?id=1AOWZxBvTo9nUf2_9Y7Xe27ZFQuPrnx9i
gdown https://drive.google.com/uc?id=19jM1-GcqgGoE1bjmQycQw_vqD9C5e-Jm

準備輸入

我們為兩個字符提供兩個超密集的姿勢序列。您可以通過3D型號生成更多的UDP，而動議是指我們的論文，也可以使用MMD2UDP（感謝 @kurisumakise004）。 Baidu NetDisk（密碼：RDXC）

 # for short hair girl
gdown https://drive.google.com/uc?id=11HMSaEkN__QiAZSnCuaM6GI143xo62KO
unzip short_hair.zip
mv short_hair/ poses/

# for double ponytail girl
gdown https://drive.google.com/uc?id=1WNnGVuU0ZLyEn04HzRKzITXqib1wwM4Q
unzip double_ponytail.zip
mv double_ponytail/ poses/

我們提供動漫角色表的樣本輸入。您也可以自己畫更多。字符表需要從背景和PNG格式中切出。 Baidu NetDisk（密碼：RDXC）

 # for short hair girl
gdown https://drive.google.com/uc?id=1r-3hUlENSWj81ve2IUPkRKNB81o9WrwT
unzip short_hair_images.zip
mv short_hair_images/ character_sheet/

# for double ponytail girl
gdown https://drive.google.com/uc?id=1XMrJf9Lk_dWgXyTJhbEK2LZIXL9G3MWc
unzip double_ponytail_images.zip
mv double_ponytail_images/ character_sheet/

跑步！

• 使用Web UI（由簡化提供動力）

 streamlit run streamlit.py --server.port=8501

然後打開瀏覽器並訪問localhost:8501 ，按照說明生成視頻。

• 通過終端

 mkdir {dir_to_save_result}

python -m torch.distributed.launch 
--nproc_per_node=1 train.py --mode=test 
--world_size=1 --dataloaders=2 
--test_input_poses_images={dir_to_poses} 
--test_input_person_images={dir_to_character_sheet} 
--test_output_dir={dir_to_save_result} 
--test_checkpoint_dir={dir_to_weights}

ffmpeg -r 30 -y -i {dir_to_save_result}/%d.png -r 30 -c:v libx264 output.mp4 -r 30

引用

 @inproceedings { lin2023conr ,
  title = { Collaborative Neural Rendering using Anime Character Sheets } ,
  author = { Lin, Zuzeng and Huang, Ailin and Huang, Zhewei } ,
  booktitle = { Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence (IJCAI) } ,
  year = { 2023 }
}

腳註

1. Zuzeng Lin並未參與AAAI23的提交，而IJCAI23則在看到CVPR22和ECCV22的令人心碎的評論之後，僅由其他作者完成。他探索了在2020年底協助AI和擬議Conr協助動漫創作的想法，以解決一致性和藝術控制問題的基準。其他作者將其草案修改為目前的狀態，並在辭職後製作了演示視頻，但他們不參與繼任版本。他感謝與許多對該項目感興趣的人的討論，以及2021年9月的Live3D公共Beta用戶。