IJCAI2023 CoNR

الإنجليزية | 中文

عرض عصبي تعاوني باستخدام أوراق شخصية أنيمي

يتم قبول ورقةنا من خلال المسار الخاص لـ IJCAI2023 (ثلاثة مراجعات مع تصنيفات "قبول") ، تتوفر مراجعة الورقة. -> ملصق

2023/4/18: أصبحت مجموعة البيانات الآن Avaliable في Conr_dataset! ؟

الصفحة التجريبية | كولاب الإنجليزية/中文 | Arxiv | Bilibili | يوتيوب | conr_dataset

مقدمة

هذا المشروع هو التنفيذ الرسمي لتقديم العصبية التعاونية باستخدام أوراق شخصية أنيمي ، والتي تهدف إلى جينات مقاطع فيديو للرقص الزاهية من أوراق شخصية أنيمي مرسومة باليد (ACS). ¹ شاهد المزيد من العروض التوضيحية والتفاصيل في الفيديو الموصى به بحزم في Bilibili أو YouTube. يشرح الأسئلة الشائعة حول Zhihu (باللغة الصينية) الأفكار التي تقوم عليها Conr.

الاستخدام

المتطلبات الأساسية

• NVIDIA GPU + CUDA + CUDNN
• بيثون 3.6

تثبيت

• استنساخ هذا المستودع

git clone https://github.com/megvii-research/CoNR

• التبعيات

لتثبيت جميع التبعيات ، يرجى تشغيل الأوامر التالية.

 cd CoNR
pip install -r requirements.txt

• تنزيل الأوزان تنزيل الأوزان من Google Drive. بدلاً من ذلك ، يمكنك التنزيل من Baidu NetDisk (كلمة المرور: RDXC).

 mkdir weights && cd weights
gdown https://drive.google.com/uc?id=1M1LEpx70tJ72AIV2TQKr6NE_7mJ7tLYx
gdown https://drive.google.com/uc?id=1YvZy3NHkJ6gC3pq_j8agcbEJymHCwJy0
gdown https://drive.google.com/uc?id=1AOWZxBvTo9nUf2_9Y7Xe27ZFQuPrnx9i
gdown https://drive.google.com/uc?id=19jM1-GcqgGoE1bjmQycQw_vqD9C5e-Jm

إعداد المدخلات

نحن نقدم اثنين من تسلسل تشكل الكثافة للغاية لحرفتين. يمكنك إنشاء المزيد من UDPs عبر النماذج ثلاثية الأبعاد والحركات يشير إلى ورقتنا ، أو استخدام MMD2UDP (بفضل @kurisumakise004). Baidu NetDisk (كلمة المرور: RDXC)

 # for short hair girl
gdown https://drive.google.com/uc?id=11HMSaEkN__QiAZSnCuaM6GI143xo62KO
unzip short_hair.zip
mv short_hair/ poses/

# for double ponytail girl
gdown https://drive.google.com/uc?id=1WNnGVuU0ZLyEn04HzRKzITXqib1wwM4Q
unzip double_ponytail.zip
mv double_ponytail/ poses/

نحن نقدم عينة مدخلات من أوراق شخصية أنيمي. يمكنك أيضًا رسم المزيد بنفسك. تحتاج أوراق الأحرف إلى قطع من الخلفية وفي تنسيق PNG. Baidu NetDisk (كلمة المرور: RDXC)

 # for short hair girl
gdown https://drive.google.com/uc?id=1r-3hUlENSWj81ve2IUPkRKNB81o9WrwT
unzip short_hair_images.zip
mv short_hair_images/ character_sheet/

# for double ponytail girl
gdown https://drive.google.com/uc?id=1XMrJf9Lk_dWgXyTJhbEK2LZIXL9G3MWc
unzip double_ponytail_images.zip
mv double_ponytail_images/ character_sheet/

يجري!

• مع ويب واجهة المستخدم (مدعوم من STREMELIT)

 streamlit run streamlit.py --server.port=8501

ثم افتح متصفحك وزيارة localhost:8501 ، اتبع التعليمات لإنشاء الفيديو.

• عبر المحطة

 mkdir {dir_to_save_result}

python -m torch.distributed.launch 
--nproc_per_node=1 train.py --mode=test 
--world_size=1 --dataloaders=2 
--test_input_poses_images={dir_to_poses} 
--test_input_person_images={dir_to_character_sheet} 
--test_output_dir={dir_to_save_result} 
--test_checkpoint_dir={dir_to_weights}

ffmpeg -r 30 -y -i {dir_to_save_result}/%d.png -r 30 -c:v libx264 output.mp4 -r 30

اقتباس

 @inproceedings { lin2023conr ,
  title = { Collaborative Neural Rendering using Anime Character Sheets } ,
  author = { Lin, Zuzeng and Huang, Ailin and Huang, Zhewei } ,
  booktitle = { Proceedings of the Thirty-First International Joint Conference on Artificial Intelligence (IJCAI) } ,
  year = { 2023 }
}

الحواشي

1. لا يشارك Zuzeng Lin في التقديمات إلى AAAI23 ، و IJCAI23 ، والتي يتم القيام بها من قبل مؤلفين آخرين وحدها ، بعد رؤية المراجعات المفجعة من CVPR22 و ECCV22. لقد استكشف فكرة مساعدة إنشاء أنيمي مع الذكاء الاصطناعى واقترح كونس كخط أساس لحل قضايا الاتساق والتحكم الفني في نهاية عام 2020. قام مؤلفون آخرون بمراجعة مسودته إلى حالته الحالية وقاموا بتقديم مقاطع فيديو تجريبية بعد استقالته ، لكنهم لا يشاركون في إصدارات الخلف. يقدر المناقشة مع العديد من الأشخاص المهتمين بهذا المشروع ، ومستخدمي الإصدار التجريبي العام في سبتمبر 2021. ↩