许多开发人员已经在使用 Dual Render Fusion 来构建 Snapdragon Spaces 应用程序。
工作准则
双渲染融合允许智能手机屏幕成为 AR 应用程序的主要输入,而 AR 眼镜则充当辅助增强显示器。 换句话说,智能手机充当 AR 体验的控制器,允许用户使用熟悉的移动 UI 和手势来选择他们在 AR 中看到的内容。 例如,假设您正在使用地图应用程序进行观光。 借助 Dual Render Fusion,您可以像往常一样使用手机浏览地图,同时在 AR 中查看历史地点的 3D 重建。
将 2D 移动应用程序转换为 3D 空间体验时,双渲染融合允许基于 Snapdragon Spaces 的应用程序同时渲染到智能手机和兼容耳机,例如联想 ThinkReality A3。 在此设置中,智能手机可以充当物理控制器和主显示器,而插入智能手机的 XR 设备可以实时提供辅助空间 XR 视图。
从技术角度来看,应用程序现在在一个 Activity 中有两个摄像头(视口),它们是从同一场景图渲染的。 开发人员可以通过在游戏引擎检查器中选择每个目标眼来在 Unity 项目中启用 Dual Render Fusion 的相机:
启用后,您可以预览相机。 如下图所示,双渲染融合位于 Unity 模拟器中,感知可以有效地分层到 2D 智能手机体验中。
左侧窗口显示 Unity 中的 3D 场景视图。 中间显示智能手机显示屏的模拟,包括 3D 场景和用户界面控件。 右侧的视口模拟 XR 头戴式显示器的渲染,在本例中启用了模拟手部跟踪。
不需要网络或同步代码程序开发,您可以通过智能手机触摸屏控制或基于感知的手部跟踪来操作立方体。
额外的空间体验
如今,用户对当前的智能手机体验感到满意。 但正如第一代智能手机推动了人机交互的范式转变一样,我们现在正站在另一个拐点:XR正在推动从人机交互到空间体验的转变实时渲染技术 unity,从而改善用户的日常生活。
因此,高通认为Dual Render Fusion非常重要。 您可以使用此功能向用户介绍空间概念,同时利用现有的智能手机交互。 现在,应用程序可以以新的、身临其境的方式体验,同时保留熟悉的控制机制。 最重要的是,用户不必放弃他们的智能手机。 相反,他们可以从额外的空间 XR 体验中受益。
一个很好的例子是来自mixed.world的“Virtual Places”,它在AWE 2023期间推出。Virtual Places利用Snapdragon Spaces和双渲染融合,正在通过3D空间视图增强传统的2D地图导航。 其中,用户可以用智能手机浏览地图,并获得相关区域的3D视觉预览。 多点触控界面支持熟悉的捏合展开交互,因此用户可以在手机上操作地图视图,而AR眼镜可以提供3D可视化体验。
DB Creations 的 Table Trenches 也在 AWE 2023 期间进行了演示,它提供了一个轻松集成双渲染融合的游戏示例。
DB Creations 联合创始人 Blake Gross 表示:“通过 Fusion,我们能够创造任何没有 AR 经验的人都可以使用已知的移动交互范例访问和使用的体验。” 在桌子战壕中这在 Fusion 中特别有用,因为我们可以将 UI 从游戏世界中取出,并将其变成熟悉的触摸面板。 此外,Fusion使智能手机屏幕成为一个动态界面,因此我们可以改变手机的行为方式。 Fusion 很容易集成到我们的应用程序中,因为它使用熟悉的 Unity Canvas。 由于我们的游戏已经使用 Unity Canvas实时渲染技术 unity游戏动态,因此就像设置新相机一样简单。 我们在 AWE 期间指出,新用户可以轻松上手并玩我们的游戏,无需我们进行任何手动解释。”
使用双渲染融合开发应用程序
预计到2031年,全球智能手机用户数量将达到约66亿。 这是一个巨大的市场,手机开发商可以开发并提供新的体验。 Snapdragon Spaces 和 Dual Render Fusion 可以帮助您构建引人入胜的 XR 体验,并快速将现有 Unity 移动应用程序和演示内容移植到 XR,而无需更改或很少更改代码。 一般流程包括: