GaussianEditor

[CVPR 2024] Gaussianeditor: التحرير ثلاثي الأبعاد السريع ويمكن التحكم فيه مع غوسي

Yiwen Chen ^*1،2 ، Zilong Chen ^*3 ، Chi Zhang ² ، Feng Wang ³ ، Xiaofeng Yang ² ،
Yikai Wang ³ ، Zhongang Cai ⁴ Lei Yang ⁴ Huaping Liu ³ Guosheng Lin ^{** 1،2
*} مساهمة متساوية. ^** المؤلف المقابل.
¹ S-Lab ، جامعة Nanyang التكنولوجية ،
² مدرسة علوم الكمبيوتر والهندسة ، جامعة نانيانغ التكنولوجية ،
³ قسم علوم الكمبيوتر والتكنولوجيا ، جامعة Tsinghua ، ⁴ أبحاث في وقت الحواس ،

مقاطع الفيديو التجريبية

التحرير 3D السريع ويمكن التحكم فيه مع 2-7 دقائق فقط.

add.a.teddy.bear.on.bench.mp4

turn.him.into.a.clown.mp4

DELETE.MP4

يطلق

• [12/5] دعم Docker. شكرا جزيلا ل Jhuangbu. بالنسبة لنظام التشغيل Windows ، يمكنك تجربة هذا الدليل وهذا الدليل.
• [11/29] SCORE SCERT SCERT SCERT SCERT. يمكنك الآن توسيع نطاق أقنعة التتبع الدلالي.
• [11/27] أصدرنا GaussianEditor: التحرير ثلاثي الأبعاد السريع والسيطرة مع Gaussian slinging و peta من Gaussianediting Webui.

محتويات

• مقاطع الفيديو التجريبية
• يطلق
• محتويات
• تثبيت
• دليل webui
• كيفية تحقيق نتيجة أفضل
• سطر الأوامر
• تودو
• التعليمات

تثبيت

تم اختبار بيئتنا على Ubuntu 22 و CUDA 11.8 مع 3090 و A5000 و A6000.

1. استنساخ repo لدينا وخلق بيئة كوندا

 git clone https://github.com/buaacyw/GaussianEditor.git && cd GaussianEditor

# (Option one) Install by conda
conda env create -f environment.yaml

# (Option two) You can also install by pip
# CUDA version 11.7
pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --extra-index-url https://download.pytorch.org/whl/cu117
# CUDA version 11.8
pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
pip install -r requirements.txt

# (Option three) If the below two options fail, please try this:
# For CUDA 11.8
bash install.sh

2. (اختياري) تثبيت Vorked Viser [المطلوب بواسطة WebUI)

 mkdir extern && cd extern
git clone https://github.com/heheyas/viser 
pip install -e viser
cd ..

3. (اختياري) قم بتنزيل نقاط التفتيش Wonder3D [المطلوبة عن طريق إضافة ]

sh download_wonder3d.sh

دليل webui

يرجى العلم أن webui لدينا موجود حاليًا في إصدار تجريبي. مدعومًا من Viser ، يمكنك استخدام WebUI الخاص بنا حتى لو كنت مقيدًا بالخادم البعيد. لمزيد من التفاصيل ، يرجى متابعة دليل Webui.

كيفية تحقيق نتيجة أفضل

الطلب على التحرير ثلاثي الأبعاد متنوع للغاية. على سبيل المثال ، إذا كنت ترغب فقط في تغيير القوام والمواد أو تعديل الهندسة بشكل كبير ، فمن الواضح أن فرط الفقري الذي يناسب الجميع لن يعمل. لذلك ، لا يمكننا تقديم إعدادات مقياس فرطمي افتراضي يعمل بشكل فعال في جميع السيناريوهات. لذلك ، إذا كانت نتائجك لا تفي بالتوقعات ، فيرجى الرجوع إلى وثيقة ضبط المتقلب. في ذلك ، نقوم بالتفصيل وظيفة كل مقياس فرط ونصح بالمعلمات التي يجب ضبطها عند مواجهة مشكلات محددة.

سطر الأوامر

نحن نقدم أيضًا نسخة سطر الأوامر من GaussianEditor. مثل Webui ، تحتاج إلى تحديد طريقك إلى Gaussians و Colmap المسبق كما هو مذكور هنا. يرجى التحقق من البرامج النصية في مجلد sciprt . ما عليك سوى تغيير data.source الالتحاق بدليل إخراج Colmap الخاص بك system.gs_source .

تودو

لا يزال الريبو قيد الإنشاء ، شكرًا لصبرك.

• البرنامج التعليمي لضبط ارتفاع المهر.
• تعليمي خطوة بخطوة ل Webui.
• حقق إصدار Webui Beta و GaussianEditor.

التعليمات

• نتيجة سيئة لتحرير . نحن نستخدم InstructPix2Pix لإنشاء صور ثنائية الأبعاد محررة كإرشادات تحرير. لسوء الحظ ، يعمل EnductPix2Pix فقط على مطالبات محدودة ، يرجى أولاً المحاولة هنا إذا لم تكن متأكدًا مما إذا كان نصك يطالب بالعمل.
• نتيجة سيئة للإضافة . نستخدم controlnet-Inpainting لإنشاء inpainting ثنائي الأبعاد ثم نقله إلى 3D. كما أنه لا يعمل لمطالبات سيئة. يرجى محاولة تكبير قناع inpainting الخاص بك وتجربة المزيد من البذور.
• نتيجة سيئة للتجزئة . حاول توسيع نطاق عتبة التجزئة ، مما يغير درجة الثقة للتجزئة.
• الأوزان المفقودة ل DPT. يرجى قراءة هذه المشكلة

شكر وتقدير

يعتمد رمزنا على هذه الإعادة الرائعة:

• غاوسي
• Wonder3d
• ثريستوديو
• Viser
• instructnerf2nerf
• instructPix2pix
• Controlnet