聚焦NVIDIA：VR眼动追踪仅是开始——沉浸式光线追踪的逼真照片级画面和表情丰富的角色即将突破。

在这篇文章中，NVIDIA公司的虚拟现实和增强现实主管大卫·韦恩斯坦列举了推动XR市场的关键趋势，以及可能面临的挑战和强大的应用案例。这是Tobii公司博客系列《XR的未来》的第四篇文章，Tobii的商业合作伙伴在其中分享了他们对XR行业发展的看法。

未来3-5年将对XR市场产生重大影响的最显著趋势是什么？

有三个主要趋势将汇聚在一起，对扩展现实市场产生巨大影响：流媒体、人工智能和深度沉浸。

XR流媒体目前还处于萌芽阶段，像NVIDIA CloudXR这样的技术才刚刚开始推出。随着5G的普及，XR算法和体验将越来越多地分布在客户端和服务器之间，以充分利用云端的强大计算能力和HMD的近距离效率。随着所有这些因素的综合作用，流媒体将成为XR的常态。

随着这一进程的推进，人工智能的力量将提升我们体验XR的方式，包括改进的流媒体、智能代理和像NVIDIA的Jarvis那样的自然语言理解和手势识别的自然用户界面。

影响XR应用普及的第三个因素将是新型传感器硬件和人工智能软件，以提高我们的沉浸水平。眼动追踪是一个开端——它已经被用于优化渲染，例如NVIDIA的VRWorks SDK中的可变速率着色技术，并且很快将实现沉浸式光线追踪的逼真效果。

随着更多的生物识别传感器即将到来，人工智能软件将解释并处理这些数据，这将带来以下几个方面的影响：通过表情化的虚拟化身帮助我们感受彼此的连接；根据生物反馈定制和加速培训和学习；最终通过神经界面控制我们的虚拟环境。

你认为当今XR应用面临的最大挑战是什么？

XR的采用将加速推进，我们需要解决三个主要挑战：内容、舒适度和孤立感。作为一项新技术，人们需要一个有说服力的理由来采用XR——“惊艳因素”能够引起兴趣、激发热情和炒作，但并不一定能够导致广泛采用。令人鼓舞的是，我们开始看到越来越多高质量的虚拟现实内容，例如《半条命：爱丽丝》这样的热门虚拟现实游戏和强大的企业可视化应用程序，例如Autodesk VRED和ZeroLight。不久的将来，我们将看到光线追踪的逼真虚拟现实，这将对设计工作流程产生革命性的影响。

第二个因素是舒适度和便利性。对于一项新技术来说，它必须易于使用才能广泛采用。由于头戴显示器越来越轻，设置也越来越简单，虚拟现实图像质量不断提高，越来越多的用户开始认为使用虚拟现实的收益超过了成本。

第三个挑战是孤立感。虚拟现实的主要承诺之一一直是协作。但具有讽刺意味的是，当前的主要使用场景仍然是孤立的（例如单人游戏和单用户的设计可视化）。这种情况开始发生变化。

我们正在看到在这方面取得了强大的进展，从高质量的多人虚拟现实游戏和引人入胜的社交虚拟现实环境，到像NVIDIA Omniverse这样的协作企业扩展现实平台。在这方面我们将面临的下一个障碍是将我们所依赖的所有社交线索，比如微笑、眼神交流和肢体语言，通过自然、富表现力的头像带入虚拟现实环境中。

接下来三年内，需要进行哪些改变以转变或减少这些挑战？

正如提到的，我们在许多方面都取得了巨大的进展。但在某些情况下，解决一个挑战的方法可能会导致另一个方面的挫折。例如，虽然人们喜欢多合一（All-In-One）头戴式设备的便携性，但这些设备的图形处理能力不足以提供与 NVIDIA RTX A6000 等高性能显卡可实现的惊人视觉体验。解决此问题的一种新兴方法是分割渲染，例如 NVIDIA 的 CloudXR：将 XR 帧在带有强大GPU的远程PC上渲染，然后将渲染内容流式传输到多合一设备上。

类似地，分割模式框架将使多个参与者在协作体验中共享计算成为可能，例如为建筑设计评审中的每个人计算一次全局照明，或为游戏中的所有玩家模拟世界物理环境。这些分割模式框架将需要像5G这样快速而普遍的网络，以及在边缘进行的加速计算和渲染技术。

在企业领域，哪些行业会从XR中获益最多？为什么？

XR的一个优点是其在各个行业都有广泛的应用。最早采用XR技术的人们已经广泛运用它来进行设计和培训，这是因为XR技术能够准确模拟场景的构成和比例，以及真实体验的高度保真度。对于那些企业的使用案例来说，XR的价值无法高估。从长远来看，XR将无处不在；它是一种新的模式，我们只是开始了解它将如何被应用在各个领域和方式上。

许多最大的受益者将是协作工作流程，参与者包括人类和人工智能，这些工作流程将在效率和结果方面有巨大的改进。NVIDIA的Omniverse平台是一个很好的例子，展示了如何通过协作企业平台在效率和生产力方面实现巨大飞跃。

你能描述一下NVIDIA在扩展现实生态系统中的角色吗？

英伟达在XR生态系统中拥有引领地位的光荣历史。多年来，英伟达的GPU和可扩展的可视化技术，如英伟达Quadro Sync，一直驱动着多用户CAVEs中的显示墙、空军飞行模拟器和庞大的沉浸式可视化空间，比如交互式博物馆和天文馆。当头戴式显示器主要用于飞行模拟器和认知科学研究时，英伟达的GPU推动了早期的头戴式显示器。而在2015年Oculus Rift和HTC Vive HMDs上市时，英伟达开发了早期的VRWorks工具，如Direct Mode和Context Priority，使得高效地驱动这些设备成为可能。

自那时以来，我们扩展了我们的XR产品。我们继续为VR开发人员提供新的SDK，包括用于VR物理学、VR音频、VR渲染技术（如多分辨率着色、镜片匹配着色和可变速率着色）以及NVIDIA DLSS等AI渲染技术的工具。我们还在每个后续GPU架构中提升了VR性能，添加了新的硬件支持以改善和加速VR体验。最近，我们创建了NVIDIA CloudXR，通过优化的、网络自适应的流媒体技术，使生态系统能够在任何XR设备上享受最高品质的VR和AR体验。

我们很幸运地拥有有远见的合作伙伴和尖端客户，他们成为我们的XR技术的早期采用者，并帮助我们展示了什么是可能的。最近，在我们的GTC 2021大会上，我们重点展示了许多这些项目和技术。GTC的XR专场充满了产品、合作伙伴和客户的演讲，凸显了英伟达XR技术如何推动生态系统的发展。如果你错过了GTC，可以通过NVIDIA On-Demand观看会议视频。