IJCAI2023 CoNR
1.0.0
Anglais | 中文
Notre article est accepté par une piste spéciale de IJCAI2023 (trois avis avec des notes "Accept"), la révision du document est disponible. -> Affiche
2023/4/18: L'ensemble de données est désormais avaliable dans CONR_DATASET! ?
Ce projet est le moteur officiel du rendu neuronal collaboratif à l'aide de feuilles de personnages d'anime, qui vise à génarater des vidéos de danse vive à partir de feuilles de personnages d'anime dessinées à la main (ACS). 1 Regardez plus de démos et de détails dans notre vidéo fermement recommandée à Bilibili ou YouTube. Notre FAQ sur Zhihu (en chinois) explique les idées qui sous-tendent Conr.
git clone https://github.com/megvii-research/CoNRPour installer toutes les dépendances, veuillez exécuter les commandes suivantes.
cd CoNR
pip install -r requirements.txt mkdir weights && cd weights
gdown https://drive.google.com/uc?id=1M1LEpx70tJ72AIV2TQKr6NE_7mJ7tLYx
gdown https://drive.google.com/uc?id=1YvZy3NHkJ6gC3pq_j8agcbEJymHCwJy0
gdown https://drive.google.com/uc?id=1AOWZxBvTo9nUf2_9Y7Xe27ZFQuPrnx9i
gdown https://drive.google.com/uc?id=19jM1-GcqgGoE1bjmQycQw_vqD9C5e-Jm
Nous fournissons deux séquences de pose ultra-denses pour deux caractères. Vous pouvez générer plus de UDP via des modèles 3D et les mouvements se réfèrent à notre article ou utiliser MMD2UDP (grâce à @ kurisumakise004). Baidu netdisk (mot de passe: rdxc)
# for short hair girl
gdown https://drive.google.com/uc?id=11HMSaEkN__QiAZSnCuaM6GI143xo62KO
unzip short_hair.zip
mv short_hair/ poses/
# for double ponytail girl
gdown https://drive.google.com/uc?id=1WNnGVuU0ZLyEn04HzRKzITXqib1wwM4Q
unzip double_ponytail.zip
mv double_ponytail/ poses/
Nous fournissons des échantillons d'entrées de feuilles de caractère anime. Vous pouvez également dessiner plus par vous-même. Les feuilles de caractère doivent être découpées de l'arrière-plan et au format PNG. Baidu netdisk (mot de passe: rdxc)
# for short hair girl
gdown https://drive.google.com/uc?id=1r-3hUlENSWj81ve2IUPkRKNB81o9WrwT
unzip short_hair_images.zip
mv short_hair_images/ character_sheet/
# for double ponytail girl
gdown https://drive.google.com/uc?id=1XMrJf9Lk_dWgXyTJhbEK2LZIXL9G3MWc
unzip double_ponytail_images.zip
mv double_ponytail_images/ character_sheet/
streamlit run streamlit.py --server.port=8501
Ouvrez ensuite votre navigateur et visitez localhost:8501 , suivez les instructions pour générer une vidéo.
mkdir {dir_to_save_result}
python -m torch.distributed.launch
--nproc_per_node=1 train.py --mode=test
--world_size=1 --dataloaders=2
--test_input_poses_images={dir_to_poses}
--test_input_person_images={dir_to_character_sheet}
--test_output_dir={dir_to_save_result}
--test_checkpoint_dir={dir_to_weights}
ffmpeg -r 30 -y -i {dir_to_save_result}/%d.png -r 30 -c:v libx264 output.mp4 -r 30
@inproceedings { lin2023conr ,
title = { Collaborative Neural Rendering using Anime Character Sheets } ,
author = { Lin, Zuzeng and Huang, Ailin and Huang, Zhewei } ,
booktitle = { Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence (IJCAI) } ,
year = { 2023 }
}Zuzeng Lin n'est pas impliqué dans les soumissions à AAAI23, et IJCAI23, qui sont effectuées par d'autres auteurs seuls, après avoir vu les critiques déchirantes de CVPR22 et ECCV22. Il a exploré l'idée d'aider la création d'anime dans l'IA et a proposé CONR comme référence pour résoudre les problèmes de cohérence et de contrôle artistique à la fin de l'année 2020. D'autres auteurs ont révisé son projet à son état actuel et ont fait des vidéos de démonstration après avoir quitté, mais ils ne sont pas impliqués dans les versions du successeur. Il apprécie la discussion avec de nombreuses personnes intéressées par ce projet et les utilisateurs de Beta publics en direct en septembre 2021. ↩
