triplane_edit

基於參考的3D感知圖像編輯帶有Triplanes

Bahri Batuhan Bilecen，Yigit Yalin，Ning Yu和Aysegul Dundar

生成的對抗網絡（GAN）已通過操縱其潛在空間來成為高質量圖像生成和真實圖像編輯的強大工具。 GAN中的最新進展包括3D感知模型，例如EG3D，它們具有有效的基於三平台的體系結構，能夠從單個圖像中重建3D幾何形狀。但是，對3D感知，高質量，基於參考的圖像編輯提供集成框架的關注有限。這項研究通過探索和證明三架空間對基於高級參考的編輯的有效性來解決這一差距。我們的新方法集成了編碼，自動定位，三三角特徵的空間分離以及融合學習以實現所需的編輯。此外，我們的框架展示了各個領域的多功能性和魯棒性，將其有效性擴展到動物面部編輯，部分風格化的編輯，例如卡通面，全身服裝編輯以及360度的頭部編輯。我們的方法在定性和定量上顯示了相關的潛在方向，文本和圖像引導的2D和3D引導的擴散和GAN方法的最新性能。

要求和安裝

• 確保您有64位Python 3.8，Pytorch 11.1（或以上）和CUDA 11.3（或以上）。
• 最好是通過Conda或VENV創建一個新的環境並激活環境。
• 克隆存儲庫： git clone --recursive https://github.com/three-bee/triplane_edit.git
• 安裝pip依賴項： cd ./triplane_edit && pip install -r requirements.txt

✂️數據集準備

我們遵循EG3D的數據集準備，以提取姿勢和麵對面。確保您不要跳過Deep3dfacerecon_pytorch的設置。然後，運行野外預處理代碼：

 cd ./dataset_preprocessing/ffhq
python preprocess_in_the_wild.py --indir=YOUR_INPUT_IMAGE_FOLDER

這將生成對齊的圖像和dataset.json包含YOUR_INPUT_IMAGE_FOLDER/preprocessed/的相機矩陣。

我們在./example/中包括了示例圖像和姿勢。

？檢查點

將所有下載的文件放入./checkpoints/中。

網絡	文件名
EG3D重新平衡發電機	ffhqrebalanced512-128.pkl
EG3D-GOAE編碼	encoder_FFHQ.pt ＆ afa_FFHQ.pt
填充融合編碼器	encoder_FFHQ_finetuned.pt
Bisenet細分	79999_iter.pth
IR-SE50 ID損失	model_ir_se50.pth

Quickstart

運行demo.ipynb以獲取各種編輯示例。

？引用

我們的代碼庫利用以下偉大作品：EG3D，EG3D-GOAE，TRIPLANENETV2，BISENET和DEEP3DFACERECON_PYTORCH。我們感謝作者提供的。

 @misc{bilecen2024referencebased,
      title={Reference-Based 3D-Aware Image Editing with Triplanes}, 
      author={Bahri Batuhan Bilecen and Yigit Yalin and Ning Yu and Aysegul Dundar},
      year={2024},
      eprint={2404.03632},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

版權2024 Bilkent DLR。根據Apache許可證（版本2.0）（“許可證”）獲得許可。