3d ken burns
1.0.0
이것은 Pytorch를 사용한 단일 이미지 [1]에서 3D Ken Burns 효과의 참조 구현입니다. 단일 입력 이미지가 주어지면이 스틸 이미지를 가상 카메라 스캔으로 애니메이션하고 모션 시차에 따라 줌. 당신이 우리의 일을 이용한다면, 우리 논문을 인용하십시오 [1].
Cupy를 사용하여 CUDA에서 여러 기능이 구현되므로 Cupy가 필요한 종속성입니다. pip install cupy 사용하여 설치하거나 Cupy 저장소에 요약 된대로 제공된 이진 패키지 중 하나를 사용하여 설치할 수 있습니다. 또한 CUDA_HOME 환경 변수를 구성해야합니다.
비디오 결과를 생성하려면 pip install moviepy 설치도 확인하십시오.
이미지에서 실행하고 3D Ken Burns 효과를 자동으로 생성하려면 다음 명령을 사용하십시오.
python autozoom.py --in ./images/doublestrike.jpg --out ./autozoom.mp4
카메라 경로를 수동으로 조정할 수있는 인터페이스를 시작하려면 다음 명령을 사용하십시오. 그런 다음 http://localhost:8080/ 로 이동하고 오른쪽 하단 모서리의 버튼을 사용하여 이미지를로드 할 수 있습니다. 이미지를로드하고 결과를 저장할 때 인내심을 가지십시오. 약간의 배경 처리가 진행되고 있습니다.
python interface.py
원시 깊이 추정치를 얻기 위해 깊이 추정을 실행하려면 다음 명령을 사용하십시오. 이 스크립트는 깊이 조정을 수행하지 않습니다. 추가 방법에 대한 정보는 #22를 참조하십시오.
python depthestim.py --in ./images/doublestrike.jpg --out ./depthestim.npy
깊이 추정을 벤치마킹하려면 python benchmark-ibims.py 또는 python benchmark-nyu.py 실행하십시오. 이를 사용하여 제공된 구현이 예상대로 실행되는지 쉽게 확인할 수 있습니다.
이 프로젝트를 운영하기에 적합한 환경이 없다면 Colab에게 시도해 볼 수 있습니다. 클라우드에서 무료로 프로젝트를 실행할 수 있습니다. Colab 노트북을 제공하는 몇몇 사람들이 당신을 시작해야합니다. 내가 알고있는 몇 가지에는 Arnaldo Gabriel, Vlad Alex, Ahmed Harmouche 출신이 포함됩니다.
이 데이터 세트는 Creative Commons Attribution-Noncommercial-Sharealike 4.0 International Public License (CC By-NC-SA 4.0)에 따라 라이센스가 부여되며 비상업적 목적으로 만 사용될 수 있습니다. 자세한 내용은 라이센스 파일을 참조하십시오.
| 장면 | 방법 | 색상 | 깊이 | 정상 |
|---|---|---|---|---|
| ASDF | 나는 | 3.7GB | 1.0GB | 2.9 GB |
| ASDF | 걷는 | 3.6GB | 0.9GB | 2.7 GB |
| 공백 | 나는 | 3.2GB | 1.0GB | 2.8GB |
| 공백 | 걷는 | 3.0GB | 0.9GB | 2.7 GB |
| 냉기 | 나는 | 5.4GB | 1.1 GB | 10.8 GB |
| 냉기 | 걷는 | 5.2GB | 1.0GB | 10.5GB |
| 도시 | 나는 | 0.8GB | 0.2GB | 0.9GB |
| 도시 | 걷는 | 0.7GB | 0.2GB | 0.8GB |
| 환경 | 나는 | 1.9 GB | 0.5GB | 3.5GB |
| 환경 | 걷는 | 1.8GB | 0.5GB | 3.3GB |
| 요새 | 나는 | 5.0GB | 1.1 GB | 9.2GB |
| 요새 | 걷는 | 4.9GB | 1.1 GB | 9.3 GB |
| 잔디 | 나는 | 1.1 GB | 0.2GB | 1.9 GB |
| 잔디 | 걷는 | 1.1 GB | 0.2GB | 1.6GB |
| 얼음 | 나는 | 1.2GB | 0.2GB | 2.1 GB |
| 얼음 | 걷는 | 1.2GB | 0.2GB | 2.0GB |
| 기사 | 나는 | 0.8GB | 0.2GB | 1.0GB |
| 기사 | 걷는 | 0.8GB | 0.2GB | 0.9GB |
| 전초 | 나는 | 4.8GB | 1.1 GB | 7.9 GB |
| 전초 | 걷는 | 4.6GB | 1.0GB | 7.4 GB |
| 해적 | 나는 | 0.8GB | 0.2GB | 0.8GB |
| 해적 | 걷는 | 0.7GB | 0.2GB | 0.8GB |
| 사수 | 나는 | 0.9GB | 0.2GB | 1.1 GB |
| 사수 | 걷는 | 0.9GB | 0.2GB | 1.0GB |
| 상점 | 나는 | 0.2GB | 0.1GB | 0.2GB |
| 상점 | 걷는 | 0.2GB | 0.1GB | 0.2GB |
| 빈민가 | 나는 | 0.5GB | 0.1GB | 0.8GB |
| 빈민가 | 걷는 | 0.5GB | 0.1GB | 0.7GB |
| 지하철 | 나는 | 0.5GB | 0.1GB | 0.9GB |
| 지하철 | 걷는 | 0.5GB | 0.1GB | 0.9GB |
| 절 | 나는 | 1.7GB | 0.4GB | 3.1 GB |
| 절 | 걷는 | 1.7GB | 0.3GB | 2.8GB |
| 타이탄 | 나는 | 6.2GB | 1.1 GB | 11.5GB |
| 타이탄 | 걷는 | 6.0 GB | 1.1 GB | 11.3 GB |
| 도시 | 나는 | 1.7GB | 0.3GB | 3.0GB |
| 도시 | 걷는 | 1.8GB | 0.3GB | 3.0GB |
| 언더 랜드 | 나는 | 5.4GB | 1.2GB | 12.1 GB |
| 언더 랜드 | 걷는 | 5.1 GB | 1.2GB | 11.4 GB |
| 빅토리아 주의 | 나는 | 0.5GB | 0.1GB | 0.8GB |
| 빅토리아 주의 | 걷는 | 0.4GB | 0.1GB | 0.7GB |
| 마을 | 나는 | 1.6GB | 0.3GB | 2.8GB |
| 마을 | 걷는 | 1.6GB | 0.3GB | 2.7 GB |
| 창고 | 나는 | 0.9GB | 0.2GB | 1.5GB |
| 창고 | 걷는 | 0.8GB | 0.2GB | 1.4GB |
| 서부 사람 | 나는 | 0.8GB | 0.2GB | 0.9GB |
| 서부 사람 | 걷는 | 0.7GB | 0.2GB | 0.8GB |
이것은 우리가 논문에서 사용한 데이터 세트의 업데이트 된 버전입니다. 따라서 전체 장면이 적지 만 각 샘플 캡처에는 일반화에 도움이 될 초점 길이가 다양합니다. 또한 일부 예제는 과도하게 노출되어 있으며 이러한 특이 치를 제거하는 것이 좋습니다. 보충 토론은 #37, #39 및 #40을 참조하십시오.
이것은 Adobe Research의 프로젝트입니다. Creative Commons Attribution-Noncommercial-Sharealike 4.0 International Public License (CC By-NC-SA 4.0)에 따라 라이센스가 부여되며 비상업적 목적으로 만 사용될 수 있습니다. 자세한 내용은 라이센스 파일을 참조하십시오.
[1] @article{Niklaus_TOG_2019,
author = {Simon Niklaus and Long Mai and Jimei Yang and Feng Liu},
title = {3D Ken Burns Effect from a Single Image},
journal = {ACM Transactions on Graphics},
volume = {38},
number = {6},
pages = {184:1--184:15},
year = {2019}
}
위의 비디오는 창의적 공통 라이센스에 따라 또는 마지막에 자세히 설명 된대로 소유자의 허가를 받아 자료를 사용합니다.
