triplane_edit

การแก้ไขภาพ 3D ที่รับรู้ด้วยการอ้างอิงด้วย triplanes

Bahri Batuhan Bilecen, Yigit Yalin, Ning Yu และ Aysegul Dundar

เครือข่ายฝ่ายตรงข้ามกำเนิด (GANS) ได้กลายเป็นเครื่องมือที่ทรงพลังสำหรับการสร้างภาพคุณภาพสูงและการแก้ไขภาพจริงโดยการจัดการพื้นที่แฝงของพวกเขา ความก้าวหน้าล่าสุดใน GANS รวมถึงโมเดลที่รับรู้ 3D เช่น EG3D ซึ่งมีสถาปัตยกรรมที่ใช้ทริปเลนที่มีประสิทธิภาพซึ่งสามารถสร้างเรขาคณิต 3 มิติใหม่จากภาพเดียว อย่างไรก็ตามได้รับความสนใจอย่าง จำกัด เพื่อจัดทำกรอบการทำงานแบบบูรณาการสำหรับการแก้ไขภาพที่มีคุณภาพสูง 3D ที่มีคุณภาพสูง การศึกษาครั้งนี้กล่าวถึงช่องว่างนี้โดยการสำรวจและแสดงให้เห็นถึงประสิทธิภาพของพื้นที่ทริปเลนสำหรับการแก้ไขตามการอ้างอิงขั้นสูง วิธีการใหม่ของเรารวมการเข้ารหัสการแปลอัตโนมัติการคลายความเสี่ยงเชิงพื้นที่ของคุณสมบัติทริปเลนและการเรียนรู้ฟิวชั่นเพื่อให้บรรลุการแก้ไขที่ต้องการ นอกจากนี้เฟรมเวิร์กของเรายังแสดงให้เห็นถึงความเก่งกาจและความทนทานในโดเมนต่าง ๆ ขยายประสิทธิภาพในการแก้ไขใบหน้าสัตว์การแก้ไขที่มีสไตล์บางส่วนเช่นใบหน้าการ์ตูนการแก้ไขเสื้อผ้าเต็มรูปแบบและการแก้ไขหัว 360 องศา วิธีการของเราแสดงประสิทธิภาพที่ล้ำสมัยเหนือทิศทางแฝงข้อความและการแพร่กระจายแบบ 2D และ 3D ที่มีการแนะนำภาพและ 3D และวิธีการ GAN ทั้งในเชิงคุณภาพและเชิงปริมาณ

ข้อกำหนดและการติดตั้ง

• ตรวจสอบให้แน่ใจว่าคุณมี Python 64 บิต 3.8, Pytorch 11.1 (หรือสูงกว่า) และ Cuda 11.3 (หรือสูงกว่า)
• โดยเฉพาะอย่างยิ่งสร้างสภาพแวดล้อมใหม่ผ่าน conda หรือ venv และเปิดใช้งานสภาพแวดล้อม
• ที่เก็บโคลน: git clone --recursive https://github.com/three-bee/triplane_edit.git
• ติดตั้ง PIP Dependencies: cd ./triplane_edit && pip install -r requirements.txt

✂การเตรียมชุดข้อมูล

เราติดตามการเตรียมชุดข้อมูลของ EG3D สำหรับการสกัดและการจัดแนวใบหน้า ตรวจสอบให้แน่ใจว่าคุณ ไม่ข้าม การตั้งค่าของ Deep3Dfacerecon_pytorch จากนั้นเรียกใช้รหัสการประมวลผลล่วงหน้าในโรงพยาบาล:

 cd ./dataset_preprocessing/ffhq
python preprocess_in_the_wild.py --indir=YOUR_INPUT_IMAGE_FOLDER

สิ่งนี้จะสร้างภาพที่จัดตำแหน่งและ dataset.json ที่มีเมทริกซ์กล้องใน YOUR_INPUT_IMAGE_FOLDER/preprocessed/

เราได้รวมภาพตัวอย่างและโพสท่าใน ./example/ example /

- จุดตรวจ

ใส่ไฟล์ที่ดาวน์โหลดทั้งหมดลงใน ./checkpoints/ /

เครือข่าย	ชื่อไฟล์
EG3D Rebalanced Generator	ffhqrebalanced512-128.pkl
EG3D-GOAE encoders	encoder_FFHQ.pt & afa_FFHQ.pt
Finetuned Fusion encoder	encoder_FFHQ_finetuned.pt
การแบ่งส่วน Bisenet	79999_iter.pth
IR-SE50 สำหรับการสูญเสีย ID	model_ir_se50.pth

เร็ว

เรียกใช้ demo.ipynb สำหรับตัวอย่างการแก้ไขต่างๆ

- การอ้างอิง

Codebase ของเราใช้ผลงานที่ยอดเยี่ยมต่อไปนี้: EG3D, EG3D-GOAE, TRIPLANENETV2, Bisenet และ Deep3DFACERECON_PYTORCH เราขอขอบคุณผู้เขียนที่ให้พวกเขา

 @misc{bilecen2024referencebased,
      title={Reference-Based 3D-Aware Image Editing with Triplanes}, 
      author={Bahri Batuhan Bilecen and Yigit Yalin and Ning Yu and Aysegul Dundar},
      year={2024},
      eprint={2404.03632},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

ลิขสิทธิ์ 2024 Bilkent DLR ได้รับใบอนุญาตภายใต้ใบอนุญาต Apache เวอร์ชัน 2.0 ("ใบอนุญาต")