3d ken burns
1.0.0
นี่คือการใช้งานอ้างอิงของ 3D Ken Burns Effect จากภาพเดียว [1] โดยใช้ pytorch ด้วยภาพอินพุตเดี่ยวมันจะเคลื่อนไหวภาพนิ่งนี้ด้วยการสแกนกล้องเสมือนจริงและซูมที่อยู่กับการเคลื่อนไหวพารัลแลกซ์ หากคุณใช้ประโยชน์จากงานของเราโปรดอ้างอิงกระดาษของเรา [1]
มีการใช้ฟังก์ชั่นหลายอย่างใน CUDA โดยใช้ Cupy ซึ่งเป็นสาเหตุที่ cupy เป็นผู้พึ่งพาที่จำเป็น สามารถติดตั้งได้โดยใช้ pip install cupy หรือใช้หนึ่งในแพ็คเกจไบนารีที่ให้ไว้ตามที่ระบุไว้ในที่เก็บถ้วย โปรดตรวจสอบให้แน่ใจว่าได้กำหนดค่าตัวแปรสภาพแวดล้อม CUDA_HOME
ในการสร้างผลลัพธ์วิดีโอโปรดตรวจสอบให้แน่ใจว่าได้ติดตั้ง pip install moviepy
ในการเรียกใช้บนภาพและสร้างเอฟเฟกต์ 3D Ken Burns โดยอัตโนมัติโดยอัตโนมัติให้ใช้คำสั่งต่อไปนี้
python autozoom.py --in ./images/doublestrike.jpg --out ./autozoom.mp4
ในการเริ่มต้นอินเทอร์เฟซที่ช่วยให้คุณสามารถปรับเส้นทางกล้องด้วยตนเองให้ใช้คำสั่งต่อไปนี้ จากนั้นคุณสามารถนำทางไปยัง http://localhost:8080/ และโหลดภาพโดยใช้ปุ่มที่มุมล่างขวา โปรดอดทนเมื่อโหลดภาพและบันทึกผลลัพธ์มีการประมวลผลพื้นหลังเล็กน้อย
python interface.py
ในการเรียกใช้การประมาณความลึกเพื่อให้ได้ค่าประมาณความลึกดิบให้ใช้คำสั่งต่อไปนี้ โปรดทราบว่าสคริปต์นี้ไม่ได้ทำการปรับความลึกดู #22 สำหรับข้อมูลเกี่ยวกับวิธีการเพิ่ม
python depthestim.py --in ./images/doublestrike.jpg --out ./depthestim.npy
เพื่อเปรียบเทียบการประมาณค่าความลึกให้เรียกใช้ python benchmark-ibims.py หรือ python benchmark-nyu.py คุณสามารถใช้เพื่อตรวจสอบได้อย่างง่ายดายว่าการใช้งานที่ให้นั้นทำงานตามที่คาดไว้
หากคุณไม่มีสภาพแวดล้อมที่เหมาะสมในการดำเนินโครงการนี้คุณสามารถลอง Colab ได้ ช่วยให้คุณสามารถเรียกใช้โครงการในคลาวด์ได้ฟรี มีหลายคนที่ให้สมุดบันทึก colab ที่ควรเริ่มต้น ไม่กี่คนที่ฉันรู้ว่ารวมถึงหนึ่งจาก Arnaldo Gabriel หนึ่งคนจาก Vlad Alex และอีกหนึ่งจาก Ahmed Harmouche
ชุดข้อมูลนี้ได้รับใบอนุญาตภายใต้ Creative Commons Attribution-Noncommercial-Shareike 4.0 ใบอนุญาตสาธารณะระหว่างประเทศ (CC BY-NC-SA 4.0) และอาจใช้เพื่อวัตถุประสงค์ที่ไม่ใช่เชิงพาณิชย์เท่านั้น โปรดดูไฟล์ใบอนุญาตสำหรับข้อมูลเพิ่มเติม
| ฉาก | โหมด | สี | ความลึก | ปกติ |
|---|---|---|---|---|
| ASDF | การบิน | 3.7 GB | 1.0 GB | 2.9 GB |
| ASDF | การเดิน | 3.6 GB | 0.9 GB | 2.7 GB |
| ว่างเปล่า | การบิน | 3.2 GB | 1.0 GB | 2.8 GB |
| ว่างเปล่า | การเดิน | 3.0 GB | 0.9 GB | 2.7 GB |
| เย็น | การบิน | 5.4 GB | 1.1 GB | 10.8 GB |
| เย็น | การเดิน | 5.2 GB | 1.0 GB | 10.5 GB |
| เมือง | การบิน | 0.8 GB | 0.2 GB | 0.9 GB |
| เมือง | การเดิน | 0.7 GB | 0.2 GB | 0.8 GB |
| สิ่งแวดล้อม | การบิน | 1.9 GB | 0.5 GB | 3.5 GB |
| สิ่งแวดล้อม | การเดิน | 1.8 GB | 0.5 GB | 3.3 GB |
| ป้อมปราการ | การบิน | 5.0 GB | 1.1 GB | 9.2 GB |
| ป้อมปราการ | การเดิน | 4.9 GB | 1.1 GB | 9.3 GB |
| หญ้า | การบิน | 1.1 GB | 0.2 GB | 1.9 GB |
| หญ้า | การเดิน | 1.1 GB | 0.2 GB | 1.6 GB |
| น้ำแข็ง | การบิน | 1.2 GB | 0.2 GB | 2.1 GB |
| น้ำแข็ง | การเดิน | 1.2 GB | 0.2 GB | 2.0 GB |
| อัศวิน | การบิน | 0.8 GB | 0.2 GB | 1.0 GB |
| อัศวิน | การเดิน | 0.8 GB | 0.2 GB | 0.9 GB |
| ด่านหน้า | การบิน | 4.8 GB | 1.1 GB | 7.9 GB |
| ด่านหน้า | การเดิน | 4.6 GB | 1.0 GB | 7.4 GB |
| โจรสลัด | การบิน | 0.8 GB | 0.2 GB | 0.8 GB |
| โจรสลัด | การเดิน | 0.7 GB | 0.2 GB | 0.8 GB |
| นักกีฬา | การบิน | 0.9 GB | 0.2 GB | 1.1 GB |
| นักกีฬา | การเดิน | 0.9 GB | 0.2 GB | 1.0 GB |
| ร้านค้า | การบิน | 0.2 GB | 0.1 GB | 0.2 GB |
| ร้านค้า | การเดิน | 0.2 GB | 0.1 GB | 0.2 GB |
| สลัม | การบิน | 0.5 GB | 0.1 GB | 0.8 GB |
| สลัม | การเดิน | 0.5 GB | 0.1 GB | 0.7 GB |
| รถไฟใต้ดิน | การบิน | 0.5 GB | 0.1 GB | 0.9 GB |
| รถไฟใต้ดิน | การเดิน | 0.5 GB | 0.1 GB | 0.9 GB |
| วัด | การบิน | 1.7 GB | 0.4 GB | 3.1 GB |
| วัด | การเดิน | 1.7 GB | 0.3 GB | 2.8 GB |
| ไททัน | การบิน | 6.2 GB | 1.1 GB | 11.5 GB |
| ไททัน | การเดิน | 6.0 GB | 1.1 GB | 11.3 GB |
| เมือง | การบิน | 1.7 GB | 0.3 GB | 3.0 GB |
| เมือง | การเดิน | 1.8 GB | 0.3 GB | 3.0 GB |
| อันเดอร์ | การบิน | 5.4 GB | 1.2 GB | 12.1 GB |
| อันเดอร์ | การเดิน | 5.1 GB | 1.2 GB | 11.4 GB |
| วิคตอเรีย | การบิน | 0.5 GB | 0.1 GB | 0.8 GB |
| วิคตอเรีย | การเดิน | 0.4 GB | 0.1 GB | 0.7 GB |
| หมู่บ้าน | การบิน | 1.6 GB | 0.3 GB | 2.8 GB |
| หมู่บ้าน | การเดิน | 1.6 GB | 0.3 GB | 2.7 GB |
| คลังสินค้า | การบิน | 0.9 GB | 0.2 GB | 1.5 GB |
| คลังสินค้า | การเดิน | 0.8 GB | 0.2 GB | 1.4 GB |
| ทางทิศตะวันตก | การบิน | 0.8 GB | 0.2 GB | 0.9 GB |
| ทางทิศตะวันตก | การเดิน | 0.7 GB | 0.2 GB | 0.8 GB |
โปรดทราบว่านี่เป็นชุดข้อมูลที่ปรับปรุงใหม่ที่เราใช้ในบทความของเรา ดังนั้นในขณะที่มันมีฉากน้อยลงทั้งหมดการจับตัวอย่างแต่ละครั้งมีความยาวโฟกัสที่แตกต่างกันซึ่งควรช่วยในการใช้งานทั่วไป นอกจากนี้ตัวอย่างบางส่วนมีทั้งมากเกินไปหรือต่ำกว่าและต่ำกว่าและเป็นความคิดที่ดีที่จะลบค่าผิดปกติเหล่านี้ โปรดดู #37, #39 และ #40 สำหรับการสนทนาเพิ่มเติม
นี่คือโครงการโดย Adobe Research มันได้รับใบอนุญาตภายใต้ Creative Commons Attribution-Noncommercial-Sharealike 4.0 International Public License (CC BY-NC-SA 4.0) และอาจใช้เพื่อวัตถุประสงค์ที่ไม่ใช่เชิงพาณิชย์เท่านั้น โปรดดูไฟล์ใบอนุญาตสำหรับข้อมูลเพิ่มเติม
[1] @article{Niklaus_TOG_2019,
author = {Simon Niklaus and Long Mai and Jimei Yang and Feng Liu},
title = {3D Ken Burns Effect from a Single Image},
journal = {ACM Transactions on Graphics},
volume = {38},
number = {6},
pages = {184:1--184:15},
year = {2019}
}
วิดีโอด้านบนใช้วัสดุภายใต้ใบอนุญาตทั่วไปที่สร้างสรรค์หรือได้รับอนุญาตจากเจ้าของตามรายละเอียดในตอนท้าย
