Snap在AWE上發布了突破性的即時裝置端影像擴散模型,該模型能夠在智慧型手機上即時產生生動的擴增實境體驗,並推出了針對AR創作者的全新生成式AI工具Lens Studio 5.0。此舉標誌著AR技術發展進入一個令人興奮的新階段,將極大改變AR內容的創作方式,並為使用者帶來更豐富、更具沉浸感的AR體驗。 Snap的這項創新,不僅提升了AR內容的生成效率,更降低了創作門檻,為更多創作者打開了通往AR世界的大門。
Snap 在Augmented World Expo 上展示了早期版本的即時裝置端影像擴散模型,該模型可產生生動的擴增實境(AR)體驗。該公司也推出了為AR 創作者設計的生成式AI 工具。

Snap 的聯合創始人兼首席技術長Bobby Murphy 在現場表示,該模型體積小到足以在智慧型手機上運行,並且足夠快速,能夠根據文字提示即時重新渲染幀。他指出,儘管生成式AI 影像擴散模型的出現令人興奮,但這些模型需要速度顯著提升才能對擴增實境產生重大影響,因此Snap 的團隊一直致力於加速機器學習模型。
據悉,Snapchat 用戶將在未來幾個月內開始看到基於此生成模型的鏡頭效果,Snap 計劃在年底前將其推廣給創作者。 Bobby Murphy 表示:“這個實時設備端生成式機器學習模型以及未來的模型,標誌著增強現實邁入令人振奮的新方向,讓我們重新思考渲染和創造AR 體驗的方式。”
此外,Murphy 也宣布推出Lens Studio5.0,為開發者提供新的生成式AI 工具,幫助他們比以往更快地創建AR 效果,節省數週甚至數月的時間。 AR 創作者可以利用新工具快速產生自拍鏡頭,透過產生高度逼真的機器學習臉部效果,還可以即時產生自訂樣式效果,覆蓋使用者臉部、身體和周圍環境。他們還可以在幾分鐘內產生3D 素材,並將其應用到他們的鏡頭中。
除此之外,AR 創作者還可以利用公司的臉部網格技術,透過文字或圖像提示生成外星人、巫師等角色,還可以在幾分鐘內生成面具、紋理和材質。 Lens Studio 的最新版本還包括一個AI 助手,可以回答AR 創作者可能遇到的問題。 Snap 預計,這些新工具將大大改變AR 創作的方式,讓創作者們能夠更快地實現他們的創意想法。
Snap此次發表的即時裝置端影像擴散模型與Lens Studio 5.0,預示著AR技術的蓬勃發展,未來將為使用者帶來更豐富多彩的擴增實境體驗,並推動AR產業邁向新的高度。相信在不久的將來,我們將看到更多基於這項技術的創新應用。