triplane_edit

基于参考的3D感知图像编辑带有Triplanes

Bahri Batuhan Bilecen，Yigit Yalin，Ning Yu和Aysegul Dundar

生成的对抗网络（GAN）已通过操纵其潜在空间来成为高质量图像生成和真实图像编辑的强大工具。 GAN中的最新进展包括3D感知模型，例如EG3D，它们具有有效的基于三平台的体系结构，能够从单个图像中重建3D几何形状。但是，对3D感知，高质量，基于参考的图像编辑提供集成框架的关注有限。这项研究通过探索和证明三架空间对基于高级参考的编辑的有效性来解决这一差距。我们的新方法集成了编码，自动定位，三三角特征的空间分离以及融合学习以实现所需的编辑。此外，我们的框架展示了各个领域的多功能性和鲁棒性，将其有效性扩展到动物面部编辑，部分风格化的编辑，例如卡通面，全身服装编辑以及360度的头部编辑。我们的方法在定性和定量上显示了相关的潜在方向，文本和图像引导的2D和3D引导的扩散和GAN方法的最新性能。

要求和安装

• 确保您有64位Python 3.8，Pytorch 11.1（或以上）和CUDA 11.3（或以上）。
• 最好是通过Conda或VENV创建一个新的环境并激活环境。
• 克隆存储库： git clone --recursive https://github.com/three-bee/triplane_edit.git
• 安装pip依赖项： cd ./triplane_edit && pip install -r requirements.txt

✂️数据集准备

我们遵循EG3D的数据集准备，以提取姿势和面对面。确保您不要跳过Deep3dfacerecon_pytorch的设置。然后，运行野外预处理代码：

 cd ./dataset_preprocessing/ffhq
python preprocess_in_the_wild.py --indir=YOUR_INPUT_IMAGE_FOLDER

这将生成对齐的图像和dataset.json包含YOUR_INPUT_IMAGE_FOLDER/preprocessed/的相机矩阵。

我们在./example/中包括了示例图像和姿势。

？检查点

将所有下载的文件放入./checkpoints/中。

网络	文件名
EG3D重新平衡发电机	ffhqrebalanced512-128.pkl
EG3D-GOAE编码	encoder_FFHQ.pt ＆ afa_FFHQ.pt
填充融合编码器	encoder_FFHQ_finetuned.pt
Bisenet细分	79999_iter.pth
IR-SE50 ID损失	model_ir_se50.pth

Quickstart

运行demo.ipynb以获取各种编辑示例。

？引用

我们的代码库利用以下伟大作品：EG3D，EG3D-GOAE，TRIPLANENETV2，BISENET和DEEP3DFACERECON_PYTORCH。我们感谢作者提供的。

 @misc{bilecen2024referencebased,
      title={Reference-Based 3D-Aware Image Editing with Triplanes}, 
      author={Bahri Batuhan Bilecen and Yigit Yalin and Ning Yu and Aysegul Dundar},
      year={2024},
      eprint={2404.03632},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

版权2024 Bilkent DLR。根据Apache许可证（版本2.0）（“许可证”）获得许可。