3d ken burns
1.0.0
這是使用pytorch從單個圖像[1]的3D ken burns效應的參考實現。給定單個輸入映像，它通過虛擬攝像頭掃描和縮放進行運動視差，可以使此靜止圖像動畫。如果您使用我們的作品，請引用我們的論文[1]。
使用CUPY在CUDA中實現了幾個功能，這就是為什麼CUPY是必需的依賴性的原因。它可以使用pip install cupy或使用cupy存儲庫中概述的提供的二進制包裝之一安裝。還請確保配置了CUDA_HOME環境變量。
為了生成視頻結果，還請確保安裝了pip install moviepy 。
要在圖像上運行它並生成3D KEN BURNS效應，請自動使用以下命令。
python autozoom.py --in ./images/doublestrike.jpg --out ./autozoom.mp4
要啟動允許您手動調整相機路徑的接口，請使用以下命令。然後，您可以導航到http://localhost:8080/並使用右下角的按鈕加載圖像。加載圖像並保存結果時，請耐心等待，進行一些背景處理。
python interface.py
要運行深度估計以獲得原始深度估計，請使用以下命令。請注意，此腳本不會執行深度調整，請參見＃22，以獲取有關如何添加它的信息。
python depthestim.py --in ./images/doublestrike.jpg --out ./depthestim.npy
為了測試深度估計，請運行python benchmark-ibims.py或python benchmark-nyu.py 。您可以使用它來輕鬆驗證所提供的實現是否按預期運行。
如果您沒有合適的環境來運行此項目，那麼您可以嘗試一下。它允許您免費在雲中運行該項目。有幾個人提供colab筆記本，應該讓您入門。我知道的一些包括來自Arnaldo Gabriel的一個，一個來自弗拉德·亞歷克斯（Vlad Alex）的人，還有一個來自艾哈邁德·哈默奇（Ahmed Harmouche）。
該數據集是在創意共享歸因非商業期4.0國際公共許可證（CC BY-NC-SA 4.0）下獲得許可的，並且只能用於非商業目的。請參閱許可證文件以獲取更多信息。
| 場景 | 模式 | 顏色 | 深度 | 普通的 |
|---|---|---|---|---|
| ASDF | 飛行 | 3.7 GB | 1.0 GB | 2.9 GB |
| ASDF | 步行 | 3.6 GB | 0.9 GB | 2.7 GB |
| 空白的 | 飛行 | 3.2 GB | 1.0 GB | 2.8 GB |
| 空白的 | 步行 | 3.0 GB | 0.9 GB | 2.7 GB |
| 寒意 | 飛行 | 5.4 GB | 1.1 GB | 10.8 GB |
| 寒意 | 步行 | 5.2 GB | 1.0 GB | 10.5 GB |
| 城市 | 飛行 | 0.8 GB | 0.2 GB | 0.9 GB |
| 城市 | 步行 | 0.7 GB | 0.2 GB | 0.8 GB |
| 環境 | 飛行 | 1.9 GB | 0.5 GB | 3.5 GB |
| 環境 | 步行 | 1.8 GB | 0.5 GB | 3.3 GB |
| 堡 | 飛行 | 5.0 GB | 1.1 GB | 9.2 GB |
| 堡 | 步行 | 4.9 GB | 1.1 GB | 9.3 GB |
| 草 | 飛行 | 1.1 GB | 0.2 GB | 1.9 GB |
| 草 | 步行 | 1.1 GB | 0.2 GB | 1.6 GB |
| 冰 | 飛行 | 1.2 GB | 0.2 GB | 2.1 GB |
| 冰 | 步行 | 1.2 GB | 0.2 GB | 2.0 GB |
| 騎士 | 飛行 | 0.8 GB | 0.2 GB | 1.0 GB |
| 騎士 | 步行 | 0.8 GB | 0.2 GB | 0.9 GB |
| 前哨 | 飛行 | 4.8 GB | 1.1 GB | 7.9 GB |
| 前哨 | 步行 | 4.6 GB | 1.0 GB | 7.4 GB |
| 海盜 | 飛行 | 0.8 GB | 0.2 GB | 0.8 GB |
| 海盜 | 步行 | 0.7 GB | 0.2 GB | 0.8 GB |
| 射手 | 飛行 | 0.9 GB | 0.2 GB | 1.1 GB |
| 射手 | 步行 | 0.9 GB | 0.2 GB | 1.0 GB |
| 商店 | 飛行 | 0.2 GB | 0.1 GB | 0.2 GB |
| 商店 | 步行 | 0.2 GB | 0.1 GB | 0.2 GB |
| 貧民窟 | 飛行 | 0.5 GB | 0.1 GB | 0.8 GB |
| 貧民窟 | 步行 | 0.5 GB | 0.1 GB | 0.7 GB |
| 地鐵 | 飛行 | 0.5 GB | 0.1 GB | 0.9 GB |
| 地鐵 | 步行 | 0.5 GB | 0.1 GB | 0.9 GB |
| 寺廟 | 飛行 | 1.7 GB | 0.4 GB | 3.1 GB |
| 寺廟 | 步行 | 1.7 GB | 0.3 GB | 2.8 GB |
| 泰坦 | 飛行 | 6.2 GB | 1.1 GB | 11.5 GB |
| 泰坦 | 步行 | 6.0 GB | 1.1 GB | 11.3 GB |
| 鎮 | 飛行 | 1.7 GB | 0.3 GB | 3.0 GB |
| 鎮 | 步行 | 1.8 GB | 0.3 GB | 3.0 GB |
| 下蘭 | 飛行 | 5.4 GB | 1.2 GB | 12.1 GB |
| 下蘭 | 步行 | 5.1 GB | 1.2 GB | 11.4 GB |
| 維多利亞時代 | 飛行 | 0.5 GB | 0.1 GB | 0.8 GB |
| 維多利亞時代 | 步行 | 0.4 GB | 0.1 GB | 0.7 GB |
| 村莊 | 飛行 | 1.6 GB | 0.3 GB | 2.8 GB |
| 村莊 | 步行 | 1.6 GB | 0.3 GB | 2.7 GB |
| 倉庫 | 飛行 | 0.9 GB | 0.2 GB | 1.5 GB |
| 倉庫 | 步行 | 0.8 GB | 0.2 GB | 1.4 GB |
| 西 | 飛行 | 0.8 GB | 0.2 GB | 0.9 GB |
| 西 | 步行 | 0.7 GB | 0.2 GB | 0.8 GB |
請注意，這是我們在論文中使用的數據集的更新版本。因此，儘管總共場景較少，但現在每個樣本捕獲的焦距都不同，這應該有助於概括。此外，一些示例要么暴露過多或暴露不足，因此刪除這些異常值是一個好主意。有關補充討論，請參見＃37，＃39和＃40。
這是Adobe Research的一個項目。它是根據創意共享歸因非商業共享4.0國際公共許可證（CC BY-NC-SA 4.0）許可的，並且只能用於非商業目的。請參閱許可證文件以獲取更多信息。
[1] @article{Niklaus_TOG_2019,
author = {Simon Niklaus and Long Mai and Jimei Yang and Feng Liu},
title = {3D Ken Burns Effect from a Single Image},
journal = {ACM Transactions on Graphics},
volume = {38},
number = {6},
pages = {184:1--184:15},
year = {2019}
}
上面的視頻使用創意公共許可證或所有者許可下的材料，如最終所述。
