眼动追踪在扩展现实（XR）中的应用——2022年总结和未来的创新

开始和结束往往有着特殊的意义。它们帮助我们重新开始，朝着新的目标努力，开发新的功能，解决新的问题。尽管2022年充满了意想不到的挑战，但新冠疫情的爆发证明了人类极具应变能力——面对不稳定和不确定性时，创造力往往会蓬勃发展。最近我承担了Tobii的XR部门的责任，我很高兴地说，从眼动追踪的角度来看，我无法在更好的时机担任这个角色了。我们刚刚宣布了我们进军大众消费者虚拟现实的第一步。而我们的XR平台足迹已扩展到支持最先进的光学设计，为提升设备功能和用户体验提供了新的数据流。我的首要任务之一是介绍我们2022年的XR总结，并突出我们在未来几个月可以期待的创新。祝阅读愉快！

进军大规模消费VR市场

Tobii被Sony Interactive Entertainment选中成为PlayStation VR2的眼动追踪技术提供商，这一消息是在2022年7月宣布的。

过去几年来，与我们客户的合作帮助我们形成了一种全面的眼动追踪整合方法。这使我们能够开发出支持各种光学设计的子系统，利用性价比最高的元件，以提供具有强大计算能力和吸引人美学的眼动追踪解决方案。

在我亲临客户现场时，有一种我们正在正确方向上的证据。当时我们正在讨论他们的一个原型头戴式耳机的设计和美学，其中一位工程师让我指出我们的眼动追踪组件 —— 这正是我们与 XR 行业的合作已经如何塑造了我们技术的隐秘性。

我们的下一代XR平台 — 为AR 和 VR 而打造

致力于OpenXR并与科技巨头、头戴式设备设计师和开发者合作，有助于我们将解决方案与不断变化的头戴式设备和生态系统需求保持一致。我们努力利用与合作伙伴合作所获得的专业知识，在设计我们的下一代XR平台时进行优化算法和组件驱动程序，以实现低延迟和最小功耗，以确保资源的最佳利用。但正如我之前所提到的，我注意到很多人都在强调美学，这是有道理的，因为可穿戴设备需要舒适和吸引力。为了实现这一点，我们在设计上做了一些工作，使其运行在轻巧的组件上，并放置在不干扰用户体验的方式上。

对于希望采用近眼（Pancake）光学模组的原始设备制造商，我们的下一代XR平台支持VR头戴式设备和AR眼镜。虽然我们已经将我们的平台设计为运行在标准组件上，但我认为我们为桌面带来的关键专业知识是我们对最佳放置的了解，如何避免侵入性架构变化，并确保最终设备设计适合大规模生产。

为优化设备增加投入

今年，我们继续投资于设备优化能力，比如基于软件的IPD、定位支持和滑动补偿。使用软件设置IPD可以避免人们使用笨拙的测量技术，涉及镜子和尺子，同时也消除了对物理IPD调节轮的需求，并通过理想的对齐从一开始改善了静态失真算法。眼动追踪是提供自动IPD调节解决方案所需数据的完美解决方案，使用户保持与镜片焦点对准。我们致力于滑动补偿和一个我们称之为“定位指南”的解决方案，该解决方案有助于用户正确放置头戴式显示器，无论是垂直还是水平，再次有助于确保用户处于光学甜点，并以完整的清晰度查看显示屏。

未来可期

动态视线渲染的方式挤压头戴式设备的资源是眼动追踪成为现代头戴式设备不可或缺的一部分的主要原因之一。其姊妹技术——动态视线传输——有助于降低带宽需求，正在成为ISV社区深入研究眼动追踪及如何利用其实现设备外计算的一个重要趋势。

由于镜头失真引起的模糊图像、幽灵影像和眩光等问题是令人困扰的，因为它们会干扰用户，甚至导致一些人出现恶心。除了我刚刚谈到的“甜蜜点”解决方案之外，我们最近一直在研究一种通过确保用户的瞳孔始终位于甜蜜点来增强扩展现实体验的新思路。这个概念通过将静态补偿替换为动态解决方案来实现，这将在用户移动眼睛时保持图像清晰并消除不需要的效果。为了实现这样的解决方案，我们一直在努力提供一种新的眼动追踪信号，实时传输3D瞳孔位置。请期待2023年关于此项技术的白皮书。

随着眼动追踪成为扩展现实设备的一项重要功能，我认为我们可以预期看到具有动态调整焦距的可变焦显示器的设备，具体取决于注视方向。这种下一代显示系统将支持与虚拟对象的直观交互，并有助于解决凝视-调节冲突，减少由凝视与调节不匹配引起的眼睛疲劳。

为社交和体育带来新的可能性

谈到社交时，毫无疑问，传感器技术如眼动追踪有助于使虚拟角色展现出真实的表情和眼睛动作，实时模仿用户。我特别喜欢我们与 LIV 和 Ready Player Me 合作进行的一个实验，使用了《Racket: Nx》游戏，因为它展示了眼动追踪如何使玩家的虚拟角色充满表现力。我的一位同事花了一些时间将我们的眼动追踪技术应用到了Epic流行的角色制作工具 MetaHuman 中。如果你想了解更多，我可以推荐他关于使用 MetaHuman 进行眼神交流测试的文章。

体育界已经证明了眼动追踪是一种理想的应用。如果将其集成到运动可穿戴设备中，如曲棍球头盔和高尔夫帽，就会释放出一种独特的见解流，可以提供给球迷、教练、训练师和运动员。这种解决方案为流媒体服务提供了新的机会，例如，可以从球员的视角传送比赛画面，不仅仅是他们所看到的，还有他们如何扫视前方的场景。而对于性能分析，数据为教练和运动员提供了有关游戏玩法以及玩家在战略时刻关注的内容的宝贵信息。

为行业带来颠覆 - 培训和医疗保健

美国的飞行员短缺问题可能会在2025年达到3万人的赤字。由于疫情期间向高级员工提供的提前退休计划、较少的军事飞行员转入商业航空公司以及培训方法无法跟上需求的原因，这些数字有所下降。为了解决最后一个问题，我们的合作伙伴VTR开发了一种基于虚拟现实的飞行员培训解决方案，旨在提高培训效果并降低成本。传统的模拟器时间是一种昂贵的商品，需求极高。VTR的解决方案取代了飞行员从手册和纸质模型学习的传统方式，以发展强大的技能，确保模拟器中的时间尽可能有效。

由于眼动追踪是一种提供关于人类的见解的数字工具，它有助于将基于手工观察的传统护理解决方案转变为数字领域。但是使用VR进行数字转型带来了额外的好处，通常会产生高度灵活（且成本更低）的半自动化解决方案。今年，我们与Olleyes合作，这是一家专门从事基于VR的眼科护理解决方案的领先医疗科技公司，取得了成果。作为Olleyes的CEO，阿尔贝托·冈萨雷斯解释说，通过将视力护理评估转移到VR上，患者的通过量增加了，测量变得客观准确。他提到的最有价值的方面与VR如何减轻了所需的努力有关，有助于患者进行测试并帮助临床医生进行测试。从长远来看，他们计划将解决方案转移到家中。我想在家里戴着VR头盔做眼睛测试会更有趣，更方便，而不是无尽地去最近的诊所。

整个 XR 生态系统的不懈努力已经使设备、内容和应用程序迅速发展成熟。我没有理由相信 2023 年会有任何不同。我们将继续通过我们的数据透明政策、OpenXR 标准以及整体构建元宇宙来为隐私和安全做出贡献。

在原始设备制造商的购物清单上，设备优化位居首位，我的工作是确保 Tobii 继续开发解决方案，以确保低计算量且没有变形/失真，并提供尽可能最佳的图形体验。随着大型参与者将重点放在轻薄头戴设备上，图像质量出色且外观优美，在此我想强调的是：一些最令人向往的 XR 概念需要准确的眼动追踪才能实现。