3d ken burns
1.0.0
これは、Pytorchを使用した単一の画像[1]からの3D Ken Burns Effectの参照実装です。単一の入力画像が与えられると、モーションパララックスに従って仮想カメラスキャンとズームを使用して、この静止画像をアニメーション化します。あなたが私たちの仕事を利用しているなら、私たちの論文を引用してください[1]。
Cudaを使用してCudaにいくつかの機能が実装されているため、Cupyが必要な依存関係です。 pip install cupyを使用して、またはCupyリポジトリに概説されている提供されたバイナリパッケージのいずれかを使用してインストールできます。また、 CUDA_HOME環境変数を構成していることを確認してください。
ビデオの結果を生成するために、 pip install moviepyのインストールも必ずぜひお願いします。
画像で実行し、3D Ken Burns Effectを完全に自動的に生成するには、次のコマンドを使用します。
python autozoom.py --in ./images/doublestrike.jpg --out ./autozoom.mp4
カメラパスを手動で調整できるインターフェイスを開始するには、次のコマンドを使用します。その後、 http://localhost:8080/に移動し、右下隅のボタンを使用して画像をロードできます。画像を読み込んで結果を保存するときは、我慢してください。背景処理が少し進行しています。
python interface.py
深さ推定を実行して生の深さ推定値を取得するには、次のコマンドを使用します。このスクリプトは深さ調整を実行しないことに注意してください。追加方法については、＃22を参照してください。
python depthestim.py --in ./images/doublestrike.jpg --out ./depthestim.npy
深さの推定をベンチマークするには、 python benchmark-ibims.pyまたはpython benchmark-nyu.pyを実行します。これを使用して、提供された実装が予想どおりに実行されることを簡単に確認できます。
このプロジェクトを実行するのに適した環境がない場合は、Colabを試してみることができます。これにより、プロジェクトをクラウドで無料で実行できます。 Colabノートを提供する人が何人かいます。私が知っているいくつかは、アルナルド・ガブリエルの1つ、ヴラッド・アレックスのもの、アーメド・ハーメウチのものを含むものが含まれています。
このデータセットは、Creative Commons Attribution-NonCommercial-Sharealike 4.0 International Public License（CC BY-NC-SA 4.0）の下でライセンスされており、非営利目的でのみ使用できます。詳細については、ライセンスファイルをご覧ください。
| シーン | モード | 色 | 深さ | 普通 |
|---|---|---|---|---|
| ASDF | フライング | 3.7 GB | 1.0 GB | 2.9 GB |
| ASDF | 歩く | 3.6 GB | 0.9 GB | 2.7 GB |
| 空白 | フライング | 3.2 GB | 1.0 GB | 2.8 GB |
| 空白 | 歩く | 3.0 GB | 0.9 GB | 2.7 GB |
| チル | フライング | 5.4 GB | 1.1 GB | 10.8 GB |
| チル | 歩く | 5.2 GB | 1.0 GB | 10.5 GB |
| 市 | フライング | 0.8 GB | 0.2 GB | 0.9 GB |
| 市 | 歩く | 0.7 GB | 0.2 GB | 0.8 GB |
| 環境 | フライング | 1.9 GB | 0.5 GB | 3.5 GB |
| 環境 | 歩く | 1.8 GB | 0.5 GB | 3.3 GB |
| 砦 | フライング | 5.0 GB | 1.1 GB | 9.2 GB |
| 砦 | 歩く | 4.9 GB | 1.1 GB | 9.3 GB |
| 草 | フライング | 1.1 GB | 0.2 GB | 1.9 GB |
| 草 | 歩く | 1.1 GB | 0.2 GB | 1.6 GB |
| 氷 | フライング | 1.2 GB | 0.2 GB | 2.1 GB |
| 氷 | 歩く | 1.2 GB | 0.2 GB | 2.0 GB |
| 騎士 | フライング | 0.8 GB | 0.2 GB | 1.0 GB |
| 騎士 | 歩く | 0.8 GB | 0.2 GB | 0.9 GB |
| 前post基地 | フライング | 4.8 GB | 1.1 GB | 7.9 GB |
| 前post基地 | 歩く | 4.6 GB | 1.0 GB | 7.4 GB |
| 海賊 | フライング | 0.8 GB | 0.2 GB | 0.8 GB |
| 海賊 | 歩く | 0.7 GB | 0.2 GB | 0.8 GB |
| シューター | フライング | 0.9 GB | 0.2 GB | 1.1 GB |
| シューター | 歩く | 0.9 GB | 0.2 GB | 1.0 GB |
| ショップ | フライング | 0.2 GB | 0.1 gb | 0.2 GB |
| ショップ | 歩く | 0.2 GB | 0.1 gb | 0.2 GB |
| スラム | フライング | 0.5 GB | 0.1 gb | 0.8 GB |
| スラム | 歩く | 0.5 GB | 0.1 gb | 0.7 GB |
| 地下鉄 | フライング | 0.5 GB | 0.1 gb | 0.9 GB |
| 地下鉄 | 歩く | 0.5 GB | 0.1 gb | 0.9 GB |
| 寺 | フライング | 1.7 GB | 0.4 GB | 3.1 GB |
| 寺 | 歩く | 1.7 GB | 0.3 GB | 2.8 GB |
| タイタン | フライング | 6.2 GB | 1.1 GB | 11.5 GB |
| タイタン | 歩く | 6.0 GB | 1.1 GB | 11.3 GB |
| 町 | フライング | 1.7 GB | 0.3 GB | 3.0 GB |
| 町 | 歩く | 1.8 GB | 0.3 GB | 3.0 GB |
| アンダーランド | フライング | 5.4 GB | 1.2 GB | 12.1 gb |
| アンダーランド | 歩く | 5.1 GB | 1.2 GB | 11.4 GB |
| ビクトリア朝 | フライング | 0.5 GB | 0.1 gb | 0.8 GB |
| ビクトリア朝 | 歩く | 0.4 GB | 0.1 gb | 0.7 GB |
| 村 | フライング | 1.6 GB | 0.3 GB | 2.8 GB |
| 村 | 歩く | 1.6 GB | 0.3 GB | 2.7 GB |
| 倉庫 | フライング | 0.9 GB | 0.2 GB | 1.5 GB |
| 倉庫 | 歩く | 0.8 GB | 0.2 GB | 1.4 GB |
| 西 | フライング | 0.8 GB | 0.2 GB | 0.9 GB |
| 西 | 歩く | 0.7 GB | 0.2 GB | 0.8 GB |
これは、私たちの論文で使用したデータセットの更新バージョンであることに注意してください。したがって、合計でシーンが少なくなりますが、各サンプルキャプチャには、一般化に役立つはずの焦点距離がさまざまになりました。さらに、いくつかの例は過剰または露出が過剰であるか、これらの外れ値を除去することをお勧めします。補足的な議論については、＃37、＃39、および＃40を参照してください。
これはAdobe Researchによるプロジェクトです。 Creative Commons Attribution-NonCommercial-Sharealike 4.0 International Public License（CC BY-NC-SA 4.0）の下でライセンスされており、非営利目的でのみ使用できます。詳細については、ライセンスファイルをご覧ください。
[1] @article{Niklaus_TOG_2019,
author = {Simon Niklaus and Long Mai and Jimei Yang and Feng Liu},
title = {3D Ken Burns Effect from a Single Image},
journal = {ACM Transactions on Graphics},
volume = {38},
number = {6},
pages = {184:1--184:15},
year = {2019}
}
上記のビデオでは、最後に詳述されているように、創造的な共通ライセンスの下で、または所有者の許可を得て資料を使用しています。
