PIFu
1.0.0
Nouvelles:
Ce référentiel contient une implémentation pytorch de "Pifu: Fonction implicite alignée sur les pixels pour la numérisation humaine à haute résolution".
Page du projet
Si vous trouvez le code utile dans vos recherches, veuillez envisager de citer le document.
@InProceedings{saito2019pifu,
author = {Saito, Shunsuke and Huang, Zeng and Natsume, Ryota and Morishima, Shigeo and Kanazawa, Angjoo and Li, Hao},
title = {PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization},
booktitle = {The IEEE International Conference on Computer Vision (ICCV)},
month = {October},
year = {2019}
}
Cette base de code fournit:
pour la formation et la génération de données
sudo apt-get install freeglut3-dev pour les utilisateurs d'Ubuntu)apt install libgl1-mesa-dri libegl1-mesa libgbm1 pour les utilisateurs d'Ubuntu)AVERTISSEMENT: J'ai constaté que les conducteurs NVIDIA obsolètes peuvent provoquer des erreurs avec EGL. Si vous souhaitez essayer la version EGL, veuillez mettre à jour votre pilote Nvidia au dernier !!
conda au cheminGitbinbash.exeeval "$(conda shell.bash hook)" puis conda activate my_env à cause de celaenv create -f environment.yml (Regardez ceci)conda create —name pifu python où pifu est le nom de votre environnementconda activateconda install pytorch torchvision cudatoolkit=10.1 -c pytorchconda install pillowconda install scikit-imageconda install tqdmconda install -c menpo opencvGitmingw64binsh ./scripts/download_trained_model.shsh ./scripts/test.shAVERTISSEMENT: Le modèle libéré est formé avec des scans debout principalement verticaux avec une projection de perspective faible et l'angle de tangage de 0 degré. La qualité de la reconstruction peut se dégrader pour les images très déviées des données de la formation.
./PIFu/checkpoints/ . sh ./scripts/download_trained_model.sh
.obj texturé sous ./PIFu/eval_results/ . Vous devrez peut-être utiliser ./apps/crop_img.py pour aligner à peu près une image d'entrée et le masque correspondant aux données de formation pour de meilleures performances. Pour le retrait des arrière-plans, vous pouvez utiliser tous les outils standard tels que RemoveBG. sh ./scripts/test.sh
Si vous n'avez pas de configuration pour exécuter PIFU, nous offrons une version Google Colab pour l'essayer, vous permettant d'exécuter gratuitement PIFU dans le cloud. Essayez notre démo Colab en utilisant le cahier suivant:
Bien que nous ne soyons pas en mesure de publier les données de formation complètes en raison de la restriction des analyses en commerce, nous fournissons du code de rendu à l'aide de modèles gratuits dans RenderPeople. Ce tutoriel utilise le modèle rp_dennis_posed_004 . Veuillez télécharger le modèle à partir de ce lien et dézip le contenu dans un dossier nommé rp_dennis_posed_004_OBJ . Le même processus peut être appliqué à d'autres données de rendu.
AVERTISSEMENT: Le code suivant devient extrêmement lent sans Pyembree. Veuillez vous assurer d'installer Pyembree.
python -m apps.prt_util -i {path_to_rp_dennis_posed_004_OBJ}
GEO , RENDER , MASK , PARAM , UV_RENDER , UV_MASK , UV_NORMAL et UV_POS . Notez que vous devrez peut-être répertorier les sujets de validation pour exclure de la formation dans {path_to_training_data}/val.txt (ce tutoriel n'a qu'un seul sujet et le laisse vide). Si vous souhaitez rendre des images avec des serveurs sans tête équipés de NVIDIA GPU, ajoutez -e pour activer le rendu EGL. python -m apps.render_data -i {path_to_rp_dennis_posed_004_OBJ} -o {path_to_training_data} [-e]
AVERTISSEMENT: Le code suivant devient extrêmement lent sans Pyembree. Veuillez vous assurer d'installer Pyembree.
./results et ./checkpoints respectivement. Vous pouvez ajouter des indicateurs --batch_size et --num_sample_input pour ajuster la taille du lot et le nombre de points échantillonnés en fonction de la mémoire GPU disponible. python -m apps.train_shape --dataroot {path_to_training_data} --random_flip --random_scale --random_trans
python -m apps.train_color --dataroot {path_to_training_data} --num_sample_inout 0 --num_sample_color 5000 --sigma 0.1 --random_flip --random_scale --random_trans
Capture de performance volumétrique monoculaire en temps réel (ECCV 2020)
Ruilong Li *, Yuliang Xiu *, Shunsuke Saito, Zeng Huang, Kyle Olszewski, Hao Li
Le premier PIFU en temps réel en accélérant la reconstruction et le rendu !!
PIFUHD: Fonction implicite alignée sur les pixels à plusieurs niveaux pour la numérisation humaine 3D haute résolution (CVPR 2020)
Shunsuke Saito, Tomas Simon, Jason Saragih, Hanbyul Joo
Nous améliorons encore la qualité de la reconstruction en tirant parti de l'approche à plusieurs niveaux!
Arch: Reconstruction animatisée des humains vêtus (CVPR 2020)
Zeng Huang, Yuanlu Xu, Christoph Lassner, Hao Li, Tony Tung
Apprendre PIFU dans l'espace canonique pour la génération d'avatar animée!
Autoportraits 3D robustes en secondes (CVPR 2020)
Zhe Li, Tao Yu, Chuanyu Pan, Zerong Zheng, Yebin Liu
Ils étendent le PIFU à RGBD + introduire la "pifusion" en utilisant la reconstruction PIFU pour la fusion non rigide.
Apprendre à déduire les surfaces implicites sans supervision 3D (Neirips 2019)
Shichen Liu, Shunsuke Saito, Weikai Chen, Hao Li
Nous répondons à la question de "Comment pouvons-nous apprendre la fonction implicite si nous n'avons pas de vérité fondamentale 3D?"
Siclope: Personnes habillées à base de silhouette (CVPR 2019, meilleur finaliste de papier)
Ryota Natsume *, Shunsuke Saito *, Zeng Huang, Weikai Chen, Chongyang MA, Hao Li, Shigeo Morishima
Notre première tentative de reconstruction du corps humain vêtu de 3D avec une texture d'une seule image!
Vidéo volumétrique profonde de la capture de performances multi-vues très clairsemée (ECCV 2018)
Zeng Huang, Tianye Li, Weikai Chen, Yajie Zhao, Jun Xing, Chloe Legendre, Linjie Luo, Chongyang MA, Hao Li
Implice l'apprentissage en surface pour une capture de performance humaine clairsemée!
Pour les requêtes commerciales, veuillez contacter:
Hao li: [email protected] ccto: [email protected] Baker !!
