Stability AI 近日發布了其最新的人工智能模型—— Stable Virtual Camera,這一創新技術能夠將2D圖像轉化為具有深度和視角變化的“沉浸式”視頻。虛擬相機技術通常用於數字電影製作和3D動畫領域,而Stable Virtual Camera的推出,標誌著生成式AI技術在這一領域的進一步應用,為用戶提供了更大的控制和自定義空間。

Stable Virtual Camera 能夠從一張或多張圖像(最多可處理32張)中生成場景的“新視角”,用戶還可以指定相機角度。該模型可以生成沿著“動態”相機路徑或預設路徑移動的視頻,包括“螺旋”、“縮放”、“移動”和“平移”等多種效果。這種靈活性使得用戶能夠根據需求定制視頻效果,從而在視覺呈現上達到更高的水平。
目前,Stable Virtual Camera 的版本為研究預覽版,支持生成方形(1:1)、豎屏(9:16)和橫屏(16:9)三種寬高比的視頻,最長可達1000幀。然而,Stability AI 也提醒用戶,該模型在某些情況下可能會產生較低質量的結果,尤其是在處理包含人類、動物或“動態紋理”(如水面)的圖像時。這些限制可能會影響視頻的最終效果,但同時也為未來的技術改進提供了方向。
Stability AI 在其博客中指出,“高度模糊的場景、複雜的相機路徑交叉物體或表面,以及不規則形狀的物體可能導致閃爍偽影,尤其是在目標視角與輸入圖像差異較大的情況下。” 這一問題的存在,表明模型在處理複雜場景時仍有一定的局限性,需要進一步優化。

目前,Stable Virtual Camera 在Hugging Face 平台上以非商業許可的形式供研究使用,用戶可以下載體驗。 Stability AI 是廣受歡迎的圖像生成模型Stable Diffusion 的背後公司。儘管過去面臨管理問題和財務困境,Stability AI 在去年的投資者支持下獲得了新一輪融資,力圖扭轉局面。
近期,Stability AI 聘請了新任首席執行官,並邀請電影導演詹姆斯・卡梅隆加入董事會。此外,Stability AI 還發布了多個新型圖像生成模型,並於今年3月與芯片製造商Arm 合作,推出了一款可以生成音頻及音效的AI 模型,旨在將這些功能帶入運行Arm 芯片的移動設備中。這些舉措表明,Stability AI 正在積極拓展其技術應用領域,並尋求在AI領域的進一步突破。
項目入口:https://top.aibase.com/tool/stable-virtual-camera
劃重點:
Stable Virtual Camera 可將2D 圖像轉換為沈浸式視頻,提供多種相機路徑選擇。
當前模型為研究預覽版,處理某些場景可能會出現質量下降的問題。
Stability AI 在經歷管理危機後,正在積極重組並推出新產品,以改善公司前景。