triplane_edit
1.0.0
Bahri Batuhan Bilecen, Yigit Yalin, Ning Yu 및 Aysegul Dundar
GANS (Generative Adversarial Networks)는 잠재 된 공간을 조작하여 고품질 이미지 생성 및 실제 이미지 편집을위한 강력한 도구로 등장했습니다. 최근 GAN의 발전에는 EG3D와 같은 3D 인식 모델이 포함되어 있으며, 이는 단일 이미지로부터 3D 지오메트리를 재구성 할 수있는 효율적인 트리플레인 기반 아키텍처를 특징으로합니다. 그러나 3D 인식, 고품질 참조 기반 이미지 편집을위한 통합 프레임 워크를 제공하는 데 제한된주의를 기울였습니다. 이 연구는 고급 참조 기반 편집을위한 트리플란 공간의 효과를 탐색하고 입증함으로써 이러한 격차를 해결합니다. 우리의 새로운 접근법은 인코딩, 자동 현지화, 트리플란 기능의 공간적 분리 및 원하는 편집을 달성하기위한 퓨전 학습을 통합합니다. 또한, 우리의 프레임 워크는 다양한 영역에 걸쳐 다목적 성과 견고성을 보여 주어 동물 얼굴 편집에 효과를 확장하고 만화 얼굴, 전신 의류 편집 및 360도 헤드 편집과 같은 부분 스타일 편집. 우리의 방법은 관련 잠재 방향, 텍스트 및 이미지 유도 2D 및 3D 인식 확산 및 GAN 방법에 대한 최첨단 성능을 질적으로나 정량적으로 보여줍니다.
git clone --recursive https://github.com/three-bee/triplane_edit.gitcd ./triplane_edit && pip install -r requirements.txt 우리는 포즈 추출 및 얼굴 정렬을위한 EG3D의 데이터 세트 준비를 따릅니다. deep3dfacerecon_pytorch의 설정을 건너 뛰지 않도록 하십시오. 그런 다음 야만적 인 전처리 코드를 실행하십시오.
cd ./dataset_preprocessing/ffhq
python preprocess_in_the_wild.py --indir=YOUR_INPUT_IMAGE_FOLDER
이렇게하면 정렬 된 이미지와 dataset.json YOUR_INPUT_IMAGE_FOLDER/preprocessed/ 에 카메라 매트릭스가 포함되어 있습니다.
우리는 ./example/ 에 예제 이미지와 포즈를 포함시켰다 .
다운로드 된 모든 파일을 ./checkpoints/ 에 넣으십시오.
| 회로망 | 파일 이름 |
|---|---|
| EG3D 재조정 생성기 | ffhqrebalanced512-128.pkl |
| eg3d-goae 인코더 | encoder_FFHQ.pt & afa_FFHQ.pt |
| Fineted Fusion Encoder | encoder_FFHQ_finetuned.pt |
| 비 세넷 세분화 | 79999_iter.pth |
| ID 손실에 대한 IR-SE50 | model_ir_se50.pth |
다양한 편집 예제를 위해 demo.ipynb 실행하십시오.
Codebase는 EG3D, EG3D-Goae, Triplanenetv2, Bisenet 및 Deep3dfacerecon_pytorch의 다음과 같은 위대한 작품을 사용합니다. 우리는 저자들에게 그들을 제공해 주셔서 감사합니다.
@misc{bilecen2024referencebased,
title={Reference-Based 3D-Aware Image Editing with Triplanes},
author={Bahri Batuhan Bilecen and Yigit Yalin and Ning Yu and Aysegul Dundar},
year={2024},
eprint={2404.03632},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
저작권 2024 Bilkent DLR. Apache 라이센스, 버전 2.0 ( "라이센스")에 따라 라이센스가 부여되었습니다.
