3d ken burns
1.0.0
Dies ist eine Referenzimplementierung des 3D -Ken -Burns -Effekts aus einem einzelnen Bild [1] mit Pytorch. Bei einem einzelnen Eingabebild wird dieses Standbild mit einem virtuellen Kamera -Scan und Zoom an die Bewegung parallax animiert. Sollten Sie unsere Arbeit verwenden, zitieren Sie bitte unser Papier [1].
In CUDA werden mehrere Funktionen mit Cupy implementiert, weshalb Cupy eine erforderliche Abhängigkeit ist. Es kann mit pip install cupy oder alternativ mit einem der im Cupy -Repository beschriebenen Binärpakete installiert werden. Bitte stellen Sie auch sicher, dass die Variable CUDA_HOME -Umgebungsvariable konfiguriert ist.
Um die Videoergebnisse zu generieren, stellen Sie bitte auch sicher, dass pip install moviepy installiert.
Verwenden Sie den folgenden Befehl, um es auf einem Bild auszuführen und den 3D -Ken Burns -Effekt vollständig automatisch zu generieren.
python autozoom.py --in ./images/doublestrike.jpg --out ./autozoom.mp4
Verwenden Sie den folgenden Befehl, um die Schnittstelle zu starten, mit der Sie den Kamerapfad manuell einstellen können. Sie können dann zu http://localhost:8080/ und ein Bild mit der Schaltfläche in der unteren rechten Ecke laden. Bitte machen Sie geduldig, wenn Sie ein Bild laden und das Ergebnis speichern, es wird ein wenig Hintergrundverarbeitung durchgeführt.
python interface.py
Verwenden Sie den folgenden Befehl, um die Tiefenschätzung auszuführen, um die Rohtiefenschätzung zu erhalten. Bitte beachten Sie, dass dieses Skript die Tiefenanpassung nicht durchführt. Weitere Informationen zum Hinzufügen finden Sie in #22.
python depthestim.py --in ./images/doublestrike.jpg --out ./depthestim.npy
Um die Tiefenschätzung zu reduzieren, führen Sie python benchmark-ibims.py oder python benchmark-nyu.py durch. Sie können es verwenden, um zu überprüfen, ob die bereitgestellte Implementierung wie erwartet ausgeführt wird.
Wenn Sie keine geeignete Umgebung für diese Projekte haben, können Sie Colab versuchen. Sie können das Projekt kostenlos in der Cloud ausführen. Es gibt mehrere Personen, die Colab -Notizbücher zur Verfügung stellen, die Ihnen den Einstieg bringen sollten. Einige, die mir bekannt sind, sind eines von Arnaldo Gabriel, eines von Vlad Alex und einer von Ahmed Harmouche.
Dieser Datensatz ist unter der Creative Commons Attribution-Noncommercial-sharealike 4.0 International Public Lizenz (CC BY-NC-SA 4.0) lizenziert und darf nur für nichtkommerzielle Zwecke verwendet werden. Weitere Informationen finden Sie in der Lizenzdatei.
| Szene | Modus | Farbe | Tiefe | Normal |
|---|---|---|---|---|
| ASDF | fliegen | 3,7 GB | 1,0 GB | 2,9 GB |
| ASDF | gehen | 3,6 GB | 0,9 GB | 2,7 GB |
| leer | fliegen | 3,2 GB | 1,0 GB | 2,8 GB |
| leer | gehen | 3,0 GB | 0,9 GB | 2,7 GB |
| kühlen | fliegen | 5.4 GB | 1,1 GB | 10.8 GB |
| kühlen | gehen | 5.2 GB | 1,0 GB | 10,5 GB |
| Stadt | fliegen | 0,8 GB | 0,2 GB | 0,9 GB |
| Stadt | gehen | 0,7 GB | 0,2 GB | 0,8 GB |
| Umfeld | fliegen | 1,9 GB | 0,5 GB | 3,5 GB |
| Umfeld | gehen | 1,8 GB | 0,5 GB | 3,3 GB |
| Fort | fliegen | 5,0 GB | 1,1 GB | 9,2 GB |
| Fort | gehen | 4,9 GB | 1,1 GB | 9,3 GB |
| Gras | fliegen | 1,1 GB | 0,2 GB | 1,9 GB |
| Gras | gehen | 1,1 GB | 0,2 GB | 1,6 GB |
| Eis | fliegen | 1,2 GB | 0,2 GB | 2.1 GB |
| Eis | gehen | 1,2 GB | 0,2 GB | 2,0 GB |
| Ritter | fliegen | 0,8 GB | 0,2 GB | 1,0 GB |
| Ritter | gehen | 0,8 GB | 0,2 GB | 0,9 GB |
| Vorposten | fliegen | 4,8 GB | 1,1 GB | 7,9 GB |
| Vorposten | gehen | 4,6 GB | 1,0 GB | 7.4 GB |
| Piraten | fliegen | 0,8 GB | 0,2 GB | 0,8 GB |
| Piraten | gehen | 0,7 GB | 0,2 GB | 0,8 GB |
| Schütze | fliegen | 0,9 GB | 0,2 GB | 1,1 GB |
| Schütze | gehen | 0,9 GB | 0,2 GB | 1,0 GB |
| Geschäfte | fliegen | 0,2 GB | 0,1 GB | 0,2 GB |
| Geschäfte | gehen | 0,2 GB | 0,1 GB | 0,2 GB |
| Slums | fliegen | 0,5 GB | 0,1 GB | 0,8 GB |
| Slums | gehen | 0,5 GB | 0,1 GB | 0,7 GB |
| U -Bahn | fliegen | 0,5 GB | 0,1 GB | 0,9 GB |
| U -Bahn | gehen | 0,5 GB | 0,1 GB | 0,9 GB |
| Tempel | fliegen | 1,7 GB | 0,4 GB | 3.1 GB |
| Tempel | gehen | 1,7 GB | 0,3 GB | 2,8 GB |
| Titan | fliegen | 6,2 GB | 1,1 GB | 11,5 GB |
| Titan | gehen | 6,0 GB | 1,1 GB | 11.3 GB |
| Stadt | fliegen | 1,7 GB | 0,3 GB | 3,0 GB |
| Stadt | gehen | 1,8 GB | 0,3 GB | 3,0 GB |
| Unterland | fliegen | 5.4 GB | 1,2 GB | 12.1 GB |
| Unterland | gehen | 5.1 GB | 1,2 GB | 11,4 GB |
| viktorianisch | fliegen | 0,5 GB | 0,1 GB | 0,8 GB |
| viktorianisch | gehen | 0,4 GB | 0,1 GB | 0,7 GB |
| Dorf | fliegen | 1,6 GB | 0,3 GB | 2,8 GB |
| Dorf | gehen | 1,6 GB | 0,3 GB | 2,7 GB |
| Lager | fliegen | 0,9 GB | 0,2 GB | 1,5 GB |
| Lager | gehen | 0,8 GB | 0,2 GB | 1,4 GB |
| Western | fliegen | 0,8 GB | 0,2 GB | 0,9 GB |
| Western | gehen | 0,7 GB | 0,2 GB | 0,8 GB |
Bitte beachten Sie, dass dies eine aktualisierte Version des Datensatzes ist, die wir in unserem Artikel verwendet haben. Während es insgesamt weniger Szenen hat, hat jede Probenerfassung nun eine unterschiedliche Brennweite, die bei der Generalisierbarkeit helfen sollte. Darüber hinaus sind einige Beispiele entweder über- oder unterexponiert, und es wäre eine gute Idee, diese Ausreißer zu entfernen. In #37, #39 und #40 finden Sie ergänzende Diskussionen.
Dies ist ein Projekt von Adobe Research. Es ist im Rahmen der Creative Commons Attribution-Noncommercial-sharealike 4.0 International Public Lizenz (CC BY-NC-SA 4.0) lizenziert und darf nur für nicht kommerzielle Zwecke verwendet werden. Weitere Informationen finden Sie in der Lizenzdatei.
[1] @article{Niklaus_TOG_2019,
author = {Simon Niklaus and Long Mai and Jimei Yang and Feng Liu},
title = {3D Ken Burns Effect from a Single Image},
journal = {ACM Transactions on Graphics},
volume = {38},
number = {6},
pages = {184:1--184:15},
year = {2019}
}
Das obige Video verwendet Materialien unter einer kreativen gemeinsamen Lizenz oder mit der Erlaubnis des Eigentümers, wie am Ende detailliert.
