ICCV2019 LearningToPaint
1.0.0
Zhewei Huang, Wen Heng, Shuchang Zhou
우리는 기계가 인간 화가처럼 페인트 칠하도록 가르치는 방법을 보여 주며, 소수의 스트로크를 사용하여 환상적인 그림을 만들 수 있습니다. 모델 기반 심해 강화 학습 (DRL)에서 신경 렌더러를 사용함으로써, 우리의 에이전트는 각 스트로크의 위치와 색상을 결정하고 텍스처가 풍부한 이미지를 스트로크로 분해하기위한 장기 계획을 세우는 법을 배웁니다. 실험은 수백 개의 뇌졸중을 사용하여 우수한 시각 효과를 달성 할 수 있음을 보여줍니다. 훈련 과정은 인간 화가 또는 뇌졸중 추적 데이터의 경험이 필요하지 않습니다.
공동 작업을 쉽게 사용하여 시도해 볼 수 있습니다.
pip3 install torch==1.1.0
pip3 install tensorboardX
pip3 install opencv-python
테스트하기 전에 Renderer.pkl 및 Actor.pkl이 있는지 확인하십시오.
Test : Renderer.pkl 및 Actor.pkl을 위해 훈련 된 신경 렌더러와 Celeba 배우를 다운로드 할 수 있습니다.
$ wget "https://drive.google.com/uc?export=download&id=1-7dVdjCIZIxh8hHJnGTK-RA1-jL1tor4" -O renderer.pkl
$ wget "https://drive.google.com/uc?export=download&id=1a3vpKgjCVXHON4P7wodqhCgCMPgg1KeR" -O actor.pkl
$ python3 baseline/test.py --max_step=100 --actor=actor.pkl --renderer=renderer.pkl --img=image/test.png --divide=4
$ ffmpeg -r 10 -f image2 -i output/generated%d.png -s 512x512 -c:v libx264 -pix_fmt yuv420p video.mp4 -q:v 0 -q:a 0
(make a painting process video)
우리는 또한 다른 신경 렌더러와 에이전트를 제공합니다. Renderer.pkl 대신 에이전트를 훈련시킬 수 있습니다.
triangle.pkl --- actor_triangle.pkl;
round.pkl --- actor_round.pkl;
Bezierwotrans.pkl --- actor_notrans.pkl
우리는 또한. 소스를 제공합니다. 链接 : https://pan.baidu.com/s/1gelbqceyojpobziwgoknma 提取码 : aq8n
Celeba 데이터 세트를 다운로드하고 정렬 된 이미지를 Data/IMG_ALIGN_CELEBA/******에 넣으십시오. JPG
차별화 가능한 그림 환경을 만들려면 먼저 신경 렌더러를 훈련해야합니다.
$ python3 baseline/train_renderer.py
$ tensorboard --logdir train_log --port=6006
(The training process will be shown at http://127.0.0.1:6006)
신경 렌더러가 충분히 좋아 보이면 에이전트 훈련을 시작할 수 있습니다.
$ cd baseline
$ python3 train.py --max_step=40 --debug --batch_size=96
(A step contains 5 strokes in default.)
$ tensorboard --logdir train_log --port=6006
量子位报道
페인트 학습 ： ： ai
旷视研究院推出基于深度强化学习的绘画智能体
또한이 작품에 영감을 주신 CTMakro에게 감사드립니다. 또한 Greedy Algorithm을 사용하여 그림을 생성 한 Opencv_playground도 탐색했습니다.
이 저장소가 연구에 유용하다고 생각되면 다음 논문을 인용하십시오.
@inproceedings{huang2019learning,
title={Learning to paint with model-based deep reinforcement learning},
author={Huang, Zhewei and Heng, Wen and Zhou, Shuchang},
booktitle={Proceedings of the IEEE International Conference on Computer Vision (ICCV)},
year={2019}
}
