หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>หลาม
ดาวน์โหลด

ICCV2019-Learning เพื่อทาสี

arxiv YouTube | Reddit | สไลด์ (中文) | ทำซ้ำ

Zhewei Huang, Wen Heng, Shuchang Zhou

เชิงนามธรรม

เราแสดงวิธีการสอนเครื่องจักรให้ทาสีเหมือนจิตรกรมนุษย์ที่สามารถใช้จังหวะจำนวนน้อยเพื่อสร้างภาพวาดที่ยอดเยี่ยม ด้วยการใช้ตัวเรนเดอร์ระบบประสาทในการเรียนรู้การเสริมแรงแบบลึก (DRL) ตัวแทนของเราเรียนรู้ที่จะกำหนดตำแหน่งและสีของแต่ละจังหวะและวางแผนระยะยาวเพื่อย่อยสลายภาพที่อุดมไปด้วยพื้นผิวเป็นจังหวะ การทดลองแสดงให้เห็นว่าเอฟเฟกต์ภาพที่ยอดเยี่ยมสามารถทำได้โดยใช้หลายร้อยจังหวะ กระบวนการฝึกอบรมไม่จำเป็นต้องมีประสบการณ์ของจิตรกรมนุษย์หรือข้อมูลการติดตามจังหวะ

คุณสามารถใช้ colaboratory เพื่อลอง

การสาธิตการสาธิตการสาธิตการสาธิตการสาธิตการสาธิต

การพึ่งพาอาศัยกัน

  • Pytorch 1.1.0
  • tensorboardx
  • OpenCv-Python 3.4.0 
 pip3 install torch==1.1.0
pip3 install tensorboardX
pip3 install opencv-python

การทดสอบ

ตรวจสอบให้แน่ใจว่ามี renderer.pkl และ actor.pkl ก่อนการทดสอบ

คุณสามารถดาวน์โหลดเครื่องแสดงผลประสาทที่ผ่านการฝึกอบรมและนักแสดง Celeba สำหรับการทดสอบ: renderer.pkl และนักแสดง. pkl 

 $ wget "https://drive.google.com/uc?export=download&id=1-7dVdjCIZIxh8hHJnGTK-RA1-jL1tor4" -O renderer.pkl
$ wget "https://drive.google.com/uc?export=download&id=1a3vpKgjCVXHON4P7wodqhCgCMPgg1KeR" -O actor.pkl
$ python3 baseline/test.py --max_step=100 --actor=actor.pkl --renderer=renderer.pkl --img=image/test.png --divide=4
$ ffmpeg -r 10 -f image2 -i output/generated%d.png -s 512x512 -c:v libx264 -pix_fmt yuv420p video.mp4 -q:v 0 -q:a 0
(make a painting process video)

นอกจากนี้เรายังให้บริการผู้เรนเดอร์และตัวแทนอื่น ๆ คุณสามารถใช้แทน renderer.pkl เพื่อฝึกอบรมตัวแทน:

triangle.pkl --- actor_triangle.pkl;

Round.pkl --- นักแสดง _round.pkl;

bezierwotrans.pkl --- นักแสดง _notrans.pkl

นอกจากนี้เรายังให้แหล่งที่มา百度网盘 链接: https://pan.baidu.com/s/1gelbqqeyojpobziwgoknma 提取码: aq8n

การฝึกอบรม

ชุดข้อมูล

ดาวน์โหลดชุดข้อมูล Celeba และวางรูปภาพที่จัดเรียงไว้ใน Data/IMG_ALIGN_CELEBA/******. JPG

ผู้เรนเดอร์

เพื่อสร้างสภาพแวดล้อมการวาดภาพที่แตกต่างกันเราจำเป็นต้องฝึกอบรมผู้เรนเดอร์ระบบประสาทก่อน 

 $ python3 baseline/train_renderer.py
$ tensorboard --logdir train_log --port=6006
(The training process will be shown at http://127.0.0.1:6006)

เครื่องทำสี

หลังจากผู้เรนเดอร์ของระบบประสาทดูดีพอเราสามารถเริ่มฝึกอบรมตัวแทนได้ 

 $ cd baseline
$ python3 train.py --max_step=40 --debug --batch_size=96
(A step contains 5 strokes in default.)
$ tensorboard --logdir train_log --port=6006

ทรัพยากร

量子位报道

เรียนรู้ที่จะทาสี： 一个绘画 ai

旷视研究院推出基于深度强化学习的绘画智能体

  • โปสเตอร์ ICCV ของเรา
  • การโต้แย้ง ICCV ของเราสำหรับผู้ตรวจสอบ

ผู้มีส่วนร่วม

  • hzwer
  • AK9250

นอกจากนี้ยังต้องขอบคุณ CTMakro ที่สร้างแรงบันดาลใจให้กับงานนี้ นอกจากนี้เขายังสำรวจโดยใช้อัลกอริทึมโลภเพื่อสร้างภาพวาด - opencv_playground

หากคุณพบว่าที่เก็บนี้มีประโยชน์สำหรับการวิจัยของคุณโปรดอ้างอิงบทความต่อไปนี้: 

 @inproceedings{huang2019learning,
  title={Learning to paint with model-based deep reinforcement learning},
  author={Huang, Zhewei and Heng, Wen and Zhou, Shuchang},
  booktitle={Proceedings of the IEEE International Conference on Computer Vision (ICCV)},
  year={2019}
}
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด