什么是注视点渲染?

  • Doug Eggert
  • 5 分钟

Dynamic foveated rendering

注视渲染听起来像是一个用来描述复杂技术的术语。但事实上,注视的基本概念很简单。通过利用人们在屏幕上的注视位置信息,你可以减少用于生成场景所需的处理,并将用户正在注视的小区域使用高分辨率渲染,而场景中用户视野较外围部分则使用较低分辨率和较少的细节。注视渲染的主要应用领域是显示技术,如虚拟现实头戴设备和增强现实眼镜,其中资源优化至关重要。

在这篇文章中,我将回答一个问题:什么是注视点渲染?我将谈论动态注视点渲染、静态(或固定)注视点渲染,以及这些技术如何可以降低GPU的计算负载。还会介绍一个衍生概念——动态注视点传输,它可以减少网络带宽需求。祝阅读愉快!

什么是注视点渲染?

注视点渲染是一种设备性能优化技术,它将渲染资源集中在用户注视的显示区域。紧邻用户注视点的区域内容以高分辨率进行渲染,而用户周围视野的其余部分则以较低分辨率进行渲染,从而减少了渲染场景所需的资源,而用户体验没有明显的降低。

Illustration of inside the human eye and effect of dynamic foveated rendering on a car image
左图的苹果展示了我们的眼睛是如何呈现图像的,而右图的汽车则展示了我们的大脑如何呈现内容

注视点渲染的原理在于模仿人类的视觉,以及我们在视野范围内感知逐渐退化的方式。我们的大脑通过将我们专注于高分辨率的事物(如插图中的苹果)与我们所见的其他事物以中低分辨率混合来呈现所看到的画面。

Illustration of fixed foveated rendering — large area to render
VR头显中的静态注视点渲染

什么是静态(固定)注视点渲染?

静态的注视点渲染方法,或者有人称之为固定注视点渲染方法,假设用户主要注视屏幕的中心区域(有时确实如此)。图示展示了固定注视点渲染方法在虚拟现实头显中的工作原理,通过将屏幕划分为硬编码的区域。用户关注的假定区域——在屏幕中心的白色部分——以100%的分辨率渲染。灰色部分以中等分辨率渲染,浅蓝色区域以低分辨率渲染,从而降低了渲染整个场景所需的资源。你可以在几乎任何设备上实现静态视网膜成像,并可能看到一定程度的资源优化,但它并不总是能提供最佳的用户体验。早期镜头引入的外围畸变水平提供了在图像模糊区域降低分辨率的机会,但随着镜头质量的提高,需要以高分辨率渲染整个视野。

什么是动态注视点渲染?

Illustration of dynamic foveated rendering in XR, small area to render
VR头显中的动态注视点渲染

动态注视点渲染利用用户注意力的实际区域来完全渲染图像的一个小部分(白色区域所示),并向外扩展到中等分辨率(灰色)和低分辨率(浅蓝色),而不会降低质量或用户体验。要实现动态注视点渲染,您需要准确、低延迟的眼动追踪技术,可以实时地反复传递用户的准确注视点。我们对动态注视点渲染进行的一些基准测试显示出了惊人的结果。在我们使用Unity引擎对Pico头戴设备进行的一项测试中,GPU着色负载降低了最多72%,平均下降约60%。我们的测试结果显示,帧率的稳定性显著提高,启用动态注视点渲染后,帧率不会低于90帧每秒。这对用户体验非常有益。如果您想深入了解结果,我建议您查看我们的电子书《眼动追踪和动态注视点渲染》

动态注视点渲染的优势

因为降低了处理负荷,动态凹凸渲染可以潜在地使GPU在较低温度下运行,相应地降低功耗,减小了散热和通风相关噪音,提高了舒适度并延长了电池寿命。

限制全分辨率渲染的区域降低了复杂着色器的负载,减少了渲染场景所需的时间。释放出的资源可以用于实现逼真的着色和更高复杂度的场景。

最重要的是,动态凹凸渲染是一种优化技术,可以提高给定硬件架构的性能。实际上,动态凹凸渲染扩展了在独立头盔上运行的资源受限GPU的使用寿命,以支持新兴的内容和显示技术,并以更低的价格提供逼真而身临其境的用户体验。

什么是动态注视点渲染传输?

动态注视点传输是采用无线轻便佩戴设备的关键手段。随着设备变得更轻,资源变得更加稀缺,对于许多应用来说,专用低延迟网络和设备外处理非常关键。而减少设备与云端或边缘处理之间数据传输量的一种方法是利用动态注视点传输。

动态注视点传输利用眼球追踪技术捕捉用户的注视点,据此指示远程处理器在场景中渲染高、中、低分辨率的哪些部分(与设备上的动态注视点渲染工作方式类似),从而减少每个场景在网络上传输的数据量。

为何要采用注视点渲染?

注视点渲染是XR中的关键技术。要在设备上实现动态注视点渲染,需要眼动跟踪组件——相机、光源和能够利用眼球生理学的算法。这项技术需要实时提供准确的凝视点,并且需要适用于将要使用该设备的全球人口。对于商用设备,解决方案设计需要使高级应用能够利用动态注视点渲染的好处,而无需进行大量的重新编程。如果您想了解更多关于我们如何在可扩展的商业解决方案中实现这一目标的信息,请与我们联系。

Front cover of ebook about Tobii's solution for foveated rendering

作者

  • Tobii Doug Eggert

    Doug Eggert

    VP of XR, Tobii

    In my role, I get to work directly with headset manufacturers, helping them integrate eye tracking into their hardware. My focus is the introduction of eye tracking for effortless interaction and immersion in virtual and mixed reality as well as enabling more capable devices with solutions such as foveated rendering and analytics. Personally, I am excited about the future of spatial computing, which helps me greatly in my role because I am passionate about working closely with our customers and engineering team to drive the widespread adoption of eye tracking in XR.

相关内容

Subscribe to our blog

Subscribe to our stories about how people are using eye tracking and attention computing.