الصفحة الرئيسية>المتعلقة بالبرمجة>بايثون
تنزيل

ICCV2019 للتعلم للطلاء

Arxiv | يوتيوب | رديت | شريحة (中文) | تكرار

Zhewei Huang ، Wen Heng ، Shuchang Zhou

خلاصة

نوضح كيفية تعليم الآلات للطلاء مثل الرسامين البشريين ، الذين يمكنهم استخدام عدد صغير من السكتات الدماغية لإنشاء لوحات رائعة. من خلال توظيف عارض عصبي في تعلم التعزيز العميق القائم على النموذج (DRL) ، يتعلم وكلاءنا تحديد موضع كل ضربة ولونها ووضع خطط طويلة الأجل لتحلل الصور الغنية بالملمس في ضربات. توضح التجارب أن المؤثرات البصرية الممتازة يمكن تحقيقها باستخدام مئات السكتات الدماغية. لا تتطلب عملية التدريب تجربة الرسامين البشريين أو بيانات تتبع السكتة الدماغية.

يمكنك بسهولة استخدام colaboratory لمحاولة.

العرض التوضيحيالعرض التوضيحيالعرض التوضيحيالعرض التوضيحيالعرض التوضيحيالعرض التوضيحي

التبعيات

  • Pytorch 1.1.0
  • Tensorboardx
  • Opencv-Python 3.4.0 
 pip3 install torch==1.1.0
pip3 install tensorboardX
pip3 install opencv-python

الاختبار

تأكد من وجود reduster.pkl و Actor.pkl قبل الاختبار.

يمكنك تنزيل عارض عصبي مدرب وممثل Celeba للاختبار: Renderer.pkl and Actor.pkl 

 $ wget "https://drive.google.com/uc?export=download&id=1-7dVdjCIZIxh8hHJnGTK-RA1-jL1tor4" -O renderer.pkl
$ wget "https://drive.google.com/uc?export=download&id=1a3vpKgjCVXHON4P7wodqhCgCMPgg1KeR" -O actor.pkl
$ python3 baseline/test.py --max_step=100 --actor=actor.pkl --renderer=renderer.pkl --img=image/test.png --divide=4
$ ffmpeg -r 10 -f image2 -i output/generated%d.png -s 512x512 -c:v libx264 -pix_fmt yuv420p video.mp4 -q:v 0 -q:a 0
(make a painting process video)

نحن نوفر أيضًا بعض العارضين والوكلاء العصبيين الآخرين ، يمكنك استخدامها بدلاً من Renderer.pkl لتدريب الوكيل:

Triangle.pkl --- ACTOR_TRIANGLE.PKL ؛

round.pkl --- ACTOR_ROUND.PKL ؛

bezierwotrans.pkl --- ACTOR_NOTRANS.PKL

نحن نقدم أيضا 百度网盘 المصدر. 链接: https://pan.baidu.com/s/1gelbqceyojpobziwgoknma 提取码: aq8n

تمرين

مجموعات البيانات

قم بتنزيل مجموعة بيانات Celeba ووضع الصور المحاذاة في البيانات/img_align_celeba/******. JPG

العارض العصبي

لإنشاء بيئة طلاء قابلة للتمييز ، نحتاج إلى تدريب العارض العصبي أولاً. 

 $ python3 baseline/train_renderer.py
$ tensorboard --logdir train_log --port=6006
(The training process will be shown at http://127.0.0.1:6006)

وكيل الطلاء

بعد أن يبدو العارض العصبي جيدًا بما فيه الكفاية ، يمكننا البدء في تدريب الوكيل. 

 $ cd baseline
$ python3 train.py --max_step=40 --debug --batch_size=96
(A step contains 5 strokes in default.)
$ tensorboard --logdir train_log --port=6006

موارد

量子位报道

تعلم الطلاء ： 一个绘画 AI

旷视研究院推出基于深度强化学习的绘画智能体

  • ملصق ICCV لدينا
  • دحض ICCV لدينا للمراجعين

المساهمين

  • Hzwer
  • AK9250

أيضا شكرا جزيلا لـ CTMakro لإلهام هذا العمل. استكشف أيضًا باستخدام خوارزمية الجشع لإنشاء لوحات - OpenCV_Playground.

إذا وجدت هذا المستودع مفيدًا لبحثك ، فيرجى الاستشهاد بالورقة التالية: 

 @inproceedings{huang2019learning,
  title={Learning to paint with model-based deep reinforcement learning},
  author={Huang, Zhewei and Heng, Wen and Zhou, Shuchang},
  booktitle={Proceedings of the IEEE International Conference on Computer Vision (ICCV)},
  year={2019}
}
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل