在医疗应用中使用虚拟现实和眼动追踪

  • Johan Bouvin
  • 7 分钟

Man wearing a VR headset in a hospital bed

今天,在许多不同领域中,各种创新公司正在利用扩展现实(XR)和眼动跟踪的威力,这引起了其他开发者和软件公司对结合这两种技术的好处产生了好奇。为了分享那些长期使用这种方法的人的成功经验,我们正在推出这个“Spark”系列的博客文章。虽然我们将着重介绍各种不同应用领域的许多不同示例,但本文的重点是医疗保健应用场景。我们将探讨虚拟现实和眼动跟踪的融合,以及对医疗保健行业的好处,以及一些可以加速创新的工具-如Tobii XR SDK。

虚拟现实在过去几十年中经历了几次起伏。然而,在2020年,消费者在一个季度内购买了超过一百万台VR头盔,像沃尔玛这样的公司已经部署了数以万计的头显来培训他们的店员。VR头显是复杂的设备,高端型号,如Pico Neo 2 Eye和HP Reverb G2 Omnicept Edition,具备先进的生物测量传感器。这些创新正在帮助医疗保健行业在研究和商业活动中取得长足进展。

科学的历史进步

医疗保健行业有引入技术支持诊断各种疾病的历史。在1945年,引入了戈德曼视野检查(Goldmann perimetry test)—— 这是一个机械系统,用来测定人类视野范围。在20世纪80年代,随着计算机的普及,手动视野检查逐渐数字化,汉弗莱视野分析仪(Humphrey visual field analyzer)成为临床常见设备。

Patient view Goldmann perimeter
Goldmann 手动型视野计

随着计算机变得越来越强大,智能手机的可携带性和改进的传感器技术,医疗保健领域不断进行创新。2021年,眼动追踪技术现已成为商业应用中重要的VR头盔组件之一,其中一些还包括脉搏计、面部摄像头和(很快)脑-计算机接口。这些头盔可利用先进的分析工具包,如Tobii Ocumen,使医疗保健公司利用VR的便携性扩大业务规模。

最近做到这一点的公司之一是SyncThink。他们的EYE-SYNC®技术是一个脑健康和表现平台,提供有关各种神经状况的客观数据和见解。SyncThink正在与Pico和Tobii合作,在Pico Neo 2 Eye上使用Tobii Ocumen,将他们的解决方案带给比以往更广泛的用户群体。我相信我们很快将在重大体育赛事的场边看到这些即时的脑损伤评估辅助工具,以及在高中体育部门。这些发展确保了医疗解决方案的开发者迅速掌握最新技术并迅速将新产品推向市场的竞赛已经开始。

Eye Sync
SyncThink的EYE-SYNC® 产品方案

虚拟现实、眼球追踪技术和医疗保健的未来

在我看来,将医疗解决方案拓展到虚拟现实(VR)中,可以得益于当今VR头显的三个关键功能。首先,和任何计算机化解决方案一样,VR提供了一个可控和可重复测试的环境。其次,类似于智能手机,VR变得更加便携和价格更实惠。最后,VR头显现在更符合用户的视觉系统。它们本质上是立体的,因为它们为左右眼分别产生图像,并且传感器功能允许对眼睛行为和生物标志进行密切观察和测量。

对于任何评估认知或神经状况的人来说,现在有一个可控和便携的平台可供他们开展工作。这样的平台使用户能够在3D空间中呈现高度逼真、立体的刺激,并测量患者眼睛的生物标志,这些标志是帕金森病、自闭症、外伤性脑损伤等许多疾病的指标。凭借这些技术进步,健康和健身解决方案可以结合应用程序,用以测量和评估认知健康情况,旨在预防大脑退化。一个很好的例子是结合眼动追踪和VR技术的这些神经病学评估能力,是加州的Apeiron Life和REACT Neuro正在进行的创新工作。

实际应用

就像任何平台一样,虚拟现实需要提供经过科学实验证明的技术解决方案和可靠的经验,才能被视为可靠的医疗应用基础。就如今天眼球动追踪被整合到VR头显中一样,幸运的是,这不是一个新概念。Tobii的VR眼球追踪解决方案是Tobii成功生产了几十年的解决方案的直接延续,这些解决方案被全球数千名研究人员使用。这个经过考验的技术每天被使用,用于研究工具,比如我们的穿戴式眼动仪,为研究人员在日益变化的硬件环境中提供了连续性。

此外,Tobii将几十年的眼动追踪经验转化为易于使用的SDK和开发工具。这些SDK提供跨平台访问眼动追踪相关数据和功能,帮助开发人员缩短上市时间,并增加设备的可扩展性。这在很多头显的市场寿命远低于医疗应用理想寻求的时间时显得尤为重要。Tobii Ocumen即是这种敏捷开发方法的成果——它是我们针对医疗、健康和其他高要求应用的先进眼动追踪系统。它可以通过Tobii XR SDK的扩展访问,并且兼容已经整合Tobii眼动追踪的一些重要设备。

Tobii Ocumen graphs

在科学性强的应用领域,如医疗保健领域,从研究和监管的角度来看,对数据流的全面控制至关重要。然而,拥有一定的能力来加快开发速度和产品上市速度也很重要。因此,预制的工具、过滤器和数据分析组件变得非常有价值,只要它们在功能上完全透明。Tobii与分析眼动和定义凝视数据过滤标准的研究界紧密联系。因此,我们在Tobii Ocumen中创建了一个全面的过滤库。开发人员和数据科学家可以立即获得一个广泛的标准化眼动分类器组合,如目标获取、目标跟踪、眼震、瞳孔扩张和快速眼动干扰。这些是创建各种情况下强大分析模型所需的基本构建模块。其中许多工作在同行评议的文献中发表,使用Tobii Ocumen的用户可以确保他们对数据流程具有完全控制权。

在商业应用中,从研究和数据科学向部署临床产品的转变也成为解决方案提供商的关键步骤。首席科学官如何确保数据科学团队的方法和分析模型能够被开发团队准确可靠地实施?在眼动追踪的情况下,Tobii Ocumen提供了一个数据分析框架,使数据科学家能够将他们从实验室中进行的数据过滤打包成易于可靠地集成到软件解决方案中的组件。这样,分析模块是恒定的,数据科学团队可以确保无论他们在实验室中使用什么样的数据,它们在最终产品中表现一致。

使这项技术更易触及

Tobii与OEM合作,通过与真正的研究人员合作,提供了经过二十多年磨练的眼动跟踪工具,从而推动了这些技术的进步。此外,我们还提供科学开发者工具包,将数据科学家与开发人员连接起来,帮助Tobii团队在先进医疗应用领域实现开发闭环。所有这些都有助于企业以原型速度进行可靠的产品迭代。

联系我们的团队,了解如何在你的先进医疗解决方案中使用我们的SDK进行眼动跟踪。你也可以下载Tobii XR SDK,立即开始开发。

作者

  • Johan Bouvin

    Johan Bouvin

    Director of product — XR software and ecosystem at Tobii

    Hi, I work with tons of developers from all over, hoping to gain an understanding of how their eye tracking needs are evolving. My aim is to ensure that we continue to develop our SDKs, developer tools, and XR platform to align with the rapidly expanding needs of the industry. I collaborate with amazing people in different lines of work. I find the more varied the individuals, the more interesting the results.

相关内容

Subscribe to our blog

Subscribe to our stories about how people are using eye tracking and attention computing.