IJCAI2023 CoNR
1.0.0
Englisch | 中文
Unser Papier wird durch eine spezielle Spur von IJCAI2023 (drei Bewertungen mit "Akzeptieren" -bewertungen) akzeptiert, die Überarbeitung des Papiers ist verfügbar. -> Poster
2023/4/18: Der Datensatz ist jetzt in conr_dataset durchschnittlich! ?
Dieses Projekt ist die offizielle Implementierung von kollaborativem neuronalem Rendering mit Anime-Charakterblättern, das darauf abzielt, lebendige Tanzvideos von handgezeichneten Anime-Charakterblättern (ACS) zu genarieren. 1 Sehen Sie sich mehr Demos und Details in unserem fest empfohlenen Video in Bilibili oder YouTube an. Unsere FAQ zu Zhihu (auf Chinesisch) erklärt die Ideen, die Conr zugrunde liegen.
git clone https://github.com/megvii-research/CoNRUm alle Abhängigkeiten zu installieren, führen Sie bitte die folgenden Befehle aus.
cd CoNR
pip install -r requirements.txt mkdir weights && cd weights
gdown https://drive.google.com/uc?id=1M1LEpx70tJ72AIV2TQKr6NE_7mJ7tLYx
gdown https://drive.google.com/uc?id=1YvZy3NHkJ6gC3pq_j8agcbEJymHCwJy0
gdown https://drive.google.com/uc?id=1AOWZxBvTo9nUf2_9Y7Xe27ZFQuPrnx9i
gdown https://drive.google.com/uc?id=19jM1-GcqgGoE1bjmQycQw_vqD9C5e-Jm
Wir bieten zwei ultra-dichte Pose-Sequenzen für zwei Zeichen. Sie können über 3D -Modelle und Bewegungen mehr UDPs generieren, oder beziehen sich auf unser Papier oder verwenden Sie MMD2UDP (dank @Kurisumakise004). Baidu NetDisk (Passwort: RDXC)
# for short hair girl
gdown https://drive.google.com/uc?id=11HMSaEkN__QiAZSnCuaM6GI143xo62KO
unzip short_hair.zip
mv short_hair/ poses/
# for double ponytail girl
gdown https://drive.google.com/uc?id=1WNnGVuU0ZLyEn04HzRKzITXqib1wwM4Q
unzip double_ponytail.zip
mv double_ponytail/ poses/
Wir liefern Probeneingaben von Anime -Charakterblättern. Sie können auch mehr alleine zeichnen. Charakterblätter müssen aus dem Hintergrund und im PNG -Format herausgeschnitten werden. Baidu NetDisk (Passwort: RDXC)
# for short hair girl
gdown https://drive.google.com/uc?id=1r-3hUlENSWj81ve2IUPkRKNB81o9WrwT
unzip short_hair_images.zip
mv short_hair_images/ character_sheet/
# for double ponytail girl
gdown https://drive.google.com/uc?id=1XMrJf9Lk_dWgXyTJhbEK2LZIXL9G3MWc
unzip double_ponytail_images.zip
mv double_ponytail_images/ character_sheet/
streamlit run streamlit.py --server.port=8501
Öffnen Sie dann Ihren Browser und besuchen Sie localhost:8501 , befolgen Sie die Anweisungen, um Video zu generieren.
mkdir {dir_to_save_result}
python -m torch.distributed.launch
--nproc_per_node=1 train.py --mode=test
--world_size=1 --dataloaders=2
--test_input_poses_images={dir_to_poses}
--test_input_person_images={dir_to_character_sheet}
--test_output_dir={dir_to_save_result}
--test_checkpoint_dir={dir_to_weights}
ffmpeg -r 30 -y -i {dir_to_save_result}/%d.png -r 30 -c:v libx264 output.mp4 -r 30
@inproceedings { lin2023conr ,
title = { Collaborative Neural Rendering using Anime Character Sheets } ,
author = { Lin, Zuzeng and Huang, Ailin and Huang, Zhewei } ,
booktitle = { Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence (IJCAI) } ,
year = { 2023 }
}Zuzeng Lin ist nicht an den Einreichungen zu AAAI23 und IJCAI23 beteiligt, die allein von anderen Autoren durchgeführt werden, nachdem sie die herzzerreißenden Bewertungen von CVPR22 und ECCV22 gesehen haben. Er untersuchte die Idee, die Anime -Schöpfung mit KI zu unterstützen, und schlug CONR Ende des Jahres 2020 als Grundlinie zur Lösung von Konsistenz- und künstlerischen Kontrolle. Er schätzt die Diskussion mit vielen Menschen, die an diesem Projekt interessiert sind, und live3d öffentliche Beta -Nutzer im September 2021. ↩
