GaussianEditor

[CVPR 2024] Gaussianeditor: การแก้ไข 3D ที่รวดเร็วและควบคุมได้ด้วยการสปิตติ้งแบบเกาส์เซียน

Yiwen Chen ^*1,2 , Zilong Chen ^*3 , Chi Zhang ² , Feng Wang ³ , Xiaofeng Yang ² ,
Yikai Wang ³ , Zhongang Cai ⁴ Lei Yang ⁴ Huaping Liu ³ Guosheng Lin ^{** 1,2
*} การมีส่วนร่วมที่เท่าเทียมกัน ^** ผู้เขียนที่เกี่ยวข้อง
¹ S-LAB, Nanyang Technological University,
² โรงเรียนวิทยาศาสตร์คอมพิวเตอร์และวิศวกรรมศาสตร์มหาวิทยาลัย Nanyang Technological
³ ภาควิชาวิทยาศาสตร์คอมพิวเตอร์และเทคโนโลยี, มหาวิทยาลัย Tsinghua, ⁴ Sensetime Research,

วิดีโอสาธิต

การแก้ไข 3D ที่รวดเร็วและควบคุมได้เพียง 2-7 นาที

add.a.teddy.bear.on.bench.mp4

turn.him.into.a.clown.mp4

delete.mp4

ปล่อย

• [12/5] รองรับนักเทียบท่า ขอขอบคุณ Jhuangbu สำหรับ Windows คุณสามารถลองใช้คู่มือนี้และคู่มือนี้
• [11/29] คะแนนความเชื่อมั่นในการแบ่งส่วนความเชื่อมั่น ตอนนี้คุณสามารถปรับขนาดเกณฑ์ของมาสก์การติดตามความหมาย
• [11/27] เราเปิด ตัว GaussianEditor: การแก้ไข 3D ที่รวดเร็วและควบคุมได้ด้วยการสปิตติ้งแบบเกาส์ และรุ่นเบต้าของ GaussianEditing WebUI

เนื้อหา

• วิดีโอสาธิต
• ปล่อย
• เนื้อหา
• การติดตั้ง
• คู่มือ webui
• วิธีการบรรลุผลที่ดีขึ้น
• บรรทัดคำสั่ง
• สิ่งที่ต้องทำ
• คำถามที่พบบ่อย

การติดตั้ง

สภาพแวดล้อมของเราได้รับการทดสอบใน Ubuntu 22, Cuda 11.8 กับ 3090, A5000 และ A6000

1. โคลน repo ของเราและสร้างสภาพแวดล้อม conda

 git clone https://github.com/buaacyw/GaussianEditor.git && cd GaussianEditor

# (Option one) Install by conda
conda env create -f environment.yaml

# (Option two) You can also install by pip
# CUDA version 11.7
pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --extra-index-url https://download.pytorch.org/whl/cu117
# CUDA version 11.8
pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt

# (Option three) If the below two options fail, please try this:
# For CUDA 11.8
bash install.sh

2. (ไม่บังคับ) ติดตั้ง Viser Forked ของเรา [ต้องการโดย WebUI)

 mkdir extern && cd extern
git clone https://github.com/heheyas/viser 
pip install -e viser
cd ..

3. (ไม่บังคับ) ดาวน์โหลดจุดตรวจสอบ Wonder3D [ต้องการโดย Add ]

sh download_wonder3d.sh

คู่มือ webui

โปรดทราบว่า WebUI ของเราอยู่ในรุ่นเบต้า ขับเคลื่อนโดย Viser คุณสามารถใช้ WebUI ของเราได้แม้ว่าคุณจะถูก จำกัด ให้ใช้เซิร์ฟเวอร์ระยะไกล สำหรับรายละเอียดโปรดติดตามคู่มือ WebUI

วิธีการบรรลุผลที่ดีขึ้น

ความต้องการการแก้ไข 3D นั้นมีความหลากหลายมาก ตัวอย่างเช่นหากคุณต้องการเปลี่ยนพื้นผิวและวัสดุหรือปรับเปลี่ยนเรขาคณิตอย่างมีนัยสำคัญเป็นที่ชัดเจนว่าไฮเปอร์พารามิเตอร์ขนาดเดียวที่เหมาะกับทุกขนาดจะไม่ทำงาน ดังนั้นเราจึงไม่สามารถจัดให้มีการตั้งค่าไฮเปอร์พารามิเตอร์เริ่มต้นที่ทำงานได้อย่างมีประสิทธิภาพในทุกสถานการณ์ ดังนั้นหากผลลัพธ์ของคุณไม่เป็นไปตามความคาดหวังโปรดดูเอกสารการปรับจูนไฮเปอร์พารามิเตอร์ของเรา ในนั้นเราให้รายละเอียดฟังก์ชั่นของแต่ละพารามิเตอร์และให้คำแนะนำเกี่ยวกับพารามิเตอร์ที่จะปรับเมื่อคุณพบปัญหาเฉพาะ

บรรทัดคำสั่ง

นอกจากนี้เรายังมีเวอร์ชันบรรทัดคำสั่งของ Gaussianeditor เช่นเดียวกับ Webui คุณต้องระบุเส้นทางของคุณไปยัง Gaussians และ Colmap ที่ได้รับการฝึกฝนตามที่กล่าวไว้ในที่นี่ โปรดตรวจสอบสคริปต์ในโฟลเดอร์ sciprt เพียงเปลี่ยน data.source ไปยังไดเรกทอรีเอาต์พุต Colmap และ system.gs_source เป็น Gaussians ที่ผ่านการฝึกฝนและเรียกใช้สคริปต์ตัวอย่างของเรา

สิ่งที่ต้องทำ

repo ยังอยู่ระหว่างการก่อสร้างขอบคุณสำหรับความอดทนของคุณ

• บทช่วยสอนสำหรับการปรับแต่งพารามิเตอร์
• การสอนทีละขั้นตอนสำหรับ WebUI
• รับรู้เวอร์ชัน Webui Beta และ GaussianEditor

คำถามที่พบบ่อย

• ผลลัพธ์ที่ไม่ดีสำหรับ การแก้ไข เรากำลังใช้ cordspix2pix เพื่อสร้างภาพ 2D ที่แก้ไขเพื่อแก้ไขคำแนะนำ น่าเสียดายที่ cordspix2pix ใช้งานได้เฉพาะกับพรอมต์ที่ จำกัด โปรดลองที่นี่ก่อนหากคุณไม่แน่ใจว่าข้อความของคุณพร้อมใช้งานหรือไม่
• ผลลัพธ์ที่ไม่ดีสำหรับ การเพิ่ม เราใช้ Controlnet-Inpainting เพื่อสร้าง 2D Inpainting ก่อนแล้วจึงถ่ายโอนไปยัง 3D นอกจากนี้ยังไม่ทำงานสำหรับพรอมต์ที่ไม่ดี โปรดลองขยายหน้ากาก inpainting ของคุณและลองใช้เมล็ดมากขึ้น
• ผลลัพธ์ที่ไม่ดีสำหรับ การแบ่งส่วน ลองปรับขนาดเกณฑ์การแบ่งส่วนซึ่งเปลี่ยนคะแนนความเชื่อมั่นสำหรับการแบ่งส่วน
• น้ำหนักที่หายไปสำหรับ DPT โปรดอ่านปัญหานี้

การรับทราบ

รหัสของเราขึ้นอยู่กับ repos ที่ยอดเยี่ยมเหล่านี้:

• การแยกเกาส์เซียน
• Wonder3d
• threestudio
• ผู้มองเห็น
• InstructNerf2nerf
• cordspix2pix
• การควบคุม