IJCAI2023 CoNR

英语| 中文

使用动漫角色表的协作神经渲染

我们的论文被IJCAI2023的特殊轨道接受（三个带有“接受”评级的评论），请参阅该论文的修订。 - >海报

2023/4/18：数据集现在可以在CONR_DATASET中可用！ ？

演示页面| COLAB英语/中文| arxiv |比利比利| YouTube | conr_dataset

介绍

该项目是使用动漫角色表的合作神经渲染的正式实施，该角色旨在通过手绘动漫角色表（ACS）产生生动的舞蹈视频。 ¹在比利比利或YouTube中牢固推荐的视频中观看更多演示和详细信息。我们关于Zhihu（中文）的常见问题解释了Conr的思想。

用法

先决条件

• nvidia gpu + cuda + cudnn
• Python 3.6

安装

• 克隆这个存储库

git clone https://github.com/megvii-research/CoNR

• 依赖性

要安装所有依赖项，请运行以下命令。

 cd CoNR
pip install -r requirements.txt

• 从Google Drive下载权重下载权重。另外，您可以从Baidu NetDisk（密码：RDXC）下载。

 mkdir weights && cd weights
gdown https://drive.google.com/uc?id=1M1LEpx70tJ72AIV2TQKr6NE_7mJ7tLYx
gdown https://drive.google.com/uc?id=1YvZy3NHkJ6gC3pq_j8agcbEJymHCwJy0
gdown https://drive.google.com/uc?id=1AOWZxBvTo9nUf2_9Y7Xe27ZFQuPrnx9i
gdown https://drive.google.com/uc?id=19jM1-GcqgGoE1bjmQycQw_vqD9C5e-Jm

准备输入

我们为两个字符提供两个超密集的姿势序列。您可以通过3D型号生成更多的UDP，而动议是指我们的论文，也可以使用MMD2UDP（感谢 @kurisumakise004）。 Baidu NetDisk（密码：RDXC）

 # for short hair girl
gdown https://drive.google.com/uc?id=11HMSaEkN__QiAZSnCuaM6GI143xo62KO
unzip short_hair.zip
mv short_hair/ poses/

# for double ponytail girl
gdown https://drive.google.com/uc?id=1WNnGVuU0ZLyEn04HzRKzITXqib1wwM4Q
unzip double_ponytail.zip
mv double_ponytail/ poses/

我们提供动漫角色表的样本输入。您也可以自己画更多。字符表需要从背景和PNG格式中切出。 Baidu NetDisk（密码：RDXC）

 # for short hair girl
gdown https://drive.google.com/uc?id=1r-3hUlENSWj81ve2IUPkRKNB81o9WrwT
unzip short_hair_images.zip
mv short_hair_images/ character_sheet/

# for double ponytail girl
gdown https://drive.google.com/uc?id=1XMrJf9Lk_dWgXyTJhbEK2LZIXL9G3MWc
unzip double_ponytail_images.zip
mv double_ponytail_images/ character_sheet/

跑步！

• 使用Web UI（由简化提供动力）

 streamlit run streamlit.py --server.port=8501

然后打开浏览器并访问localhost:8501 ，按照说明生成视频。

• 通过终端

 mkdir {dir_to_save_result}

python -m torch.distributed.launch 
--nproc_per_node=1 train.py --mode=test 
--world_size=1 --dataloaders=2 
--test_input_poses_images={dir_to_poses} 
--test_input_person_images={dir_to_character_sheet} 
--test_output_dir={dir_to_save_result} 
--test_checkpoint_dir={dir_to_weights}

ffmpeg -r 30 -y -i {dir_to_save_result}/%d.png -r 30 -c:v libx264 output.mp4 -r 30

引用

 @inproceedings { lin2023conr ,
  title = { Collaborative Neural Rendering using Anime Character Sheets } ,
  author = { Lin, Zuzeng and Huang, Ailin and Huang, Zhewei } ,
  booktitle = { Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence (IJCAI) } ,
  year = { 2023 }
}

脚注

1. Zuzeng Lin并未参与AAAI23的提交，而IJCAI23则在看到CVPR22和ECCV22的令人心碎的评论之后，仅由其他作者完成。他探索了在2020年底协助AI和拟议Conr协助动漫创作的想法，以解决一致性和艺术控制问题的基准。其他作者将其草案修改为目前的状态，并在辞职后制作了演示视频，但他们不参与继任版本。他感谢与许多对该项目感兴趣的人的讨论，以及2021年9月的Live3D公共Beta用户。