الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

تحرير الصور ثلاثي الأبعاد المستند إلى المرجع مع ثلاثية

دعابة

Bahri Batuhan Bilecen ، Yigit Yalin ، Ning Yu ، و Aysegul Dundar

برزت شبكات الخصومة (GANS) كأدوات قوية لتوليد الصور عالي الجودة وتحرير الصور الحقيقي من خلال معالجة مساحاتها الكامنة. تشمل التطورات الحديثة في GANS نماذج ثلاثية الأبعاد مثل EG3D ، والتي تتميز ببنية فعالة تستند إلى ثلاثية القائمة على إعادة بناء الهندسة ثلاثية الأبعاد من صور واحدة. ومع ذلك ، فقد تم إيلاء اهتمام محدود لتوفير إطار عمل متكامل لتحرير الصور ثلاثي الأبعاد ، عالي الجودة ، المرجعية. تتناول هذه الدراسة هذه الفجوة من خلال استكشاف وإظهار فعالية مساحة الطلعة للتحرير المرجعي المتقدم. يدمج نهجنا الجديد الترميز ، والتوطين التلقائي ، والانتهاك المكاني لميزات ثلاثي الخطوط ، وتعلم الانصهار لتحقيق التعديلات المطلوبة. بالإضافة إلى ذلك ، يوضح إطار عملنا التنوع والمتانة في مختلف المجالات ، مما يمتد فعاليته إلى تعديلات الوجه على الحيوانات ، وتعديلات منمقة جزئيًا مثل وجوه الرسوم المتحركة ، وتعديلات ملابس كاملة ، وتعديلات رأس 360 درجة. تُظهر طريقتنا الأداء الحديث على الاتجاه الكامن ذي الصلة والنص والانتشار 2D و 3D و 3D-Learn-Adain-Adains ، من الناحية النوعية والكمية.

المتطلبات والتركيب

  • تأكد من أن لديك 64 بت Python 3.8 ، Pytorch 11.1 (أو أعلى) ، و Cuda 11.3 (أو أعلاه).
  • على نحو مفضل ، قم بإنشاء بيئة جديدة عبر conda أو VenV وتفعيل البيئة.
  • مستودع استنساخ: git clone --recursive https://github.com/three-bee/triplane_edit.git
  • تثبيت تبعيات PIP: cd ./triplane_edit && pip install -r requirements.txt

✂ إعداد مجموعة البيانات

نتبع إعداد مجموعة بيانات EG3D لاستخراج الوضع ومحاذاة الوجه. تأكد من أنك لا تتخطى إعداد deep3dfacerecon_pytorch. ثم ، قم بتشغيل رمز المعالجة المسبقة: 

 cd ./dataset_preprocessing/ffhq
python preprocess_in_the_wild.py --indir=YOUR_INPUT_IMAGE_FOLDER

سيؤدي ذلك إلى إنشاء صور محاذاة و dataset.json تحتوي على مصفوفات الكاميرا في YOUR_INPUT_IMAGE_FOLDER/preprocessed/ .

لقد قمنا بتضمين مثال على الصور ويطرح في ./example/ .

؟ نقاط التفتيش

ضع جميع الملفات التي تم تنزيلها في ./checkpoints/ .

شبكة اسم الملف
EG3D إعادة توازن مولد ffhqrebalanced512-128.pkl
EG3D-Goae تشفير encoder_FFHQ.pt & afa_FFHQ.pt
تشفير الانصهار encoder_FFHQ_finetuned.pt
تجزئة BISENET 79999_iter.pth
IR-SE50 لفقدان الهوية model_ir_se50.pth

Quickstart

تشغيل demo.ipynb لمختلف أمثلة التحرير.

؟ اقتباس

تستخدم قاعدة كودنا الأعمال العظيمة التالية: EG3D و EG3D-Goae و Triplanenetv2 و Bisenet و Deep3DfacereCon_Pytorch. نشكر المؤلفين على توفيرهم لهم. 

 @misc{bilecen2024referencebased,
      title={Reference-Based 3D-Aware Image Editing with Triplanes}, 
      author={Bahri Batuhan Bilecen and Yigit Yalin and Ning Yu and Aysegul Dundar},
      year={2024},
      eprint={2404.03632},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

حقوق الطبع والنشر 2024 Bilkent DLR. مرخصة بموجب ترخيص Apache ، الإصدار 2.0 ("الترخيص").

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل