IJCAI2023 CoNR

영어 | 中文

애니메이션 캐릭터 시트를 사용한 협업 신경 렌더링

우리의 논문은 IJCAI2023의 특별 트랙 ( "수락"등급을 가진 3 개의 리뷰)에 의해 허용되며, 논문의 개정이 가능하다. -> 포스터

2023/4/18 : 이제 데이터 세트는 conr_dataset에서 불가능합니다! ?

데모 페이지 | Colab English/中文 | arxiv | 빌리 빌리 | YouTube | conr_dataset

소개

이 프로젝트는 애니메이션 캐릭터 시트를 사용한 공동 신경 렌더링의 공식적인 구현으로, 손으로 그린 애니메이션 캐릭터 시트 (ACS)의 생생한 춤 비디오를 목표로합니다. ¹ Bilibili 또는 YouTube에서 확고히 권장되는 비디오에서 더 많은 데모와 세부 사항을 시청하십시오. Zhihu (중국어)에 대한 우리의 FAQ는 Conr을 뒷받침하는 아이디어를 설명합니다.

용법

전제 조건

• nvidia gpu + cuda + cudnn
• 파이썬 3.6

설치

• 이 저장소를 복제하십시오

git clone https://github.com/megvii-research/CoNR

• 의존성

모든 종속성을 설치하려면 다음 명령을 실행하십시오.

 cd CoNR
pip install -r requirements.txt

• Google 드라이브에서 가중치를 다운로드합니다. 또는 Baidu NetDisk (Password : RDXC)에서 다운로드 할 수 있습니다.

 mkdir weights && cd weights
gdown https://drive.google.com/uc?id=1M1LEpx70tJ72AIV2TQKr6NE_7mJ7tLYx
gdown https://drive.google.com/uc?id=1YvZy3NHkJ6gC3pq_j8agcbEJymHCwJy0
gdown https://drive.google.com/uc?id=1AOWZxBvTo9nUf2_9Y7Xe27ZFQuPrnx9i
gdown https://drive.google.com/uc?id=19jM1-GcqgGoE1bjmQycQw_vqD9C5e-Jm

입력을 준비하십시오

우리는 두 캐릭터에 대해 두 개의 매우 밀도가 높은 포즈 시퀀스를 제공합니다. 3D 모델을 통해 더 많은 UDP를 생성 할 수 있으며 동작은 당사 논문을 말하거나 MMD2UDP를 사용합니다 ( @kurisumakise004 덕분). Baidu NetDisk (비밀번호 : RDXC)

 # for short hair girl
gdown https://drive.google.com/uc?id=11HMSaEkN__QiAZSnCuaM6GI143xo62KO
unzip short_hair.zip
mv short_hair/ poses/

# for double ponytail girl
gdown https://drive.google.com/uc?id=1WNnGVuU0ZLyEn04HzRKzITXqib1wwM4Q
unzip double_ponytail.zip
mv double_ponytail/ poses/

우리는 애니메이션 문자 시트의 샘플 입력을 제공합니다. 당신은 또한 혼자서 더 많이 그릴 수 있습니다. 문자 시트는 배경과 PNG 형식으로 잘라야합니다. Baidu NetDisk (비밀번호 : RDXC)

 # for short hair girl
gdown https://drive.google.com/uc?id=1r-3hUlENSWj81ve2IUPkRKNB81o9WrwT
unzip short_hair_images.zip
mv short_hair_images/ character_sheet/

# for double ponytail girl
gdown https://drive.google.com/uc?id=1XMrJf9Lk_dWgXyTJhbEK2LZIXL9G3MWc
unzip double_ponytail_images.zip
mv double_ponytail_images/ character_sheet/

달리다!

• Web UI (sleamlit에 의해 구동)와 함께

 streamlit run streamlit.py --server.port=8501

그런 다음 브라우저를 열고 localhost:8501 방문하여 지침에 따라 비디오를 생성하십시오.

• 터미널을 통해

 mkdir {dir_to_save_result}

python -m torch.distributed.launch 
--nproc_per_node=1 train.py --mode=test 
--world_size=1 --dataloaders=2 
--test_input_poses_images={dir_to_poses} 
--test_input_person_images={dir_to_character_sheet} 
--test_output_dir={dir_to_save_result} 
--test_checkpoint_dir={dir_to_weights}

ffmpeg -r 30 -y -i {dir_to_save_result}/%d.png -r 30 -c:v libx264 output.mp4 -r 30

소환

 @inproceedings { lin2023conr ,
  title = { Collaborative Neural Rendering using Anime Character Sheets } ,
  author = { Lin, Zuzeng and Huang, Ailin and Huang, Zhewei } ,
  booktitle = { Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence (IJCAI) } ,
  year = { 2023 }
}

각주

1. Zuzeng Lin은 CVPR22 및 ECCV22의 가슴 아픈 리뷰를 본 후 다른 저자들만 수행 한 AAAI23 및 IJCAI23에 대한 제출에 관여하지 않습니다. 그는 2020 년 말에 일관성과 예술적 통제 문제를 해결하기위한 AI와 함께 애니메이션 창조를 지원한다는 아이디어를 탐구했습니다. 다른 저자들은 그의 초안을 현재 상태로 수정하고 종료 후 데모 비디오를 만들었습니다. 그는이 프로젝트에 관심이있는 많은 사람들과 2021 년 9 월에 Live3D Public Beta 사용자와의 토론에 감사합니다.