通过Tobii Ocumen实现的五项商用VR创新技术

  • Robert Malmström
  • 6 分钟

VR headset on a table, looking at the left lens from the viewer's persepective

作为Tobii Ocumen的产品经理,我亲眼见证了增强现实和眼动追踪的融合,并有机会接触到一些令人惊叹的解决方案。自从2020年推出Tobii Ocumen以来,我们花了一些时间重构代码以确保稳定性,并与来自不同专业和学科的开发人员合作,帮助他们商业化利用我们的眼动追踪技术以及产品中包含的先进生物特征和开发部署工具的虚拟现实解决方案。

在本文中,我将分享一些我认为是由Tobii Ocumen开发的最具创新性的商业解决方案,希望您能认识到他们的创新者所解决的问题和克服的障碍。在文章底部,您将找到有关工具包的一些详细信息,包括过滤器的工作原理以及我们如何开发数据结构以确保开放式架构。如果Tobii Ocumen对您的研究、应用或解决方案有所帮助的话,您还可以通过表单提交免费试用申请。享受阅读吧!

#1 脑震荡评估 — NeuroSync

我们首批使用Tobii Ocumen的客户之一是NeuroSync(前身为SyncThink)。正如首席临床官Scott Anderson在2021年的采访中指出的那样,VR的一个主要优势是可移动性。NeuroSync开发了一种名为EYE-SYNC®的解决方案,帮助临床医生评估创伤性脑损伤(TBI)。VR不仅将解决方案直接带到足球场或曲棍球场的场边,其封闭的环境也使其成为帮助人们忽略外部影响的理想选择,在现场体育赛事中可能会有很强烈的外部干扰。关键是,Anderson提到了对眼动的准确和系统的测量,以及他们如何利用Tobii Ocumen中包含的高级过滤器来简化将原始眼动追踪数据转化为可靠的生物标志物的工作。

Tobii Ocumen makes it easier for us to run our software and do our analysis. Everything is being filtered for us. All the high-frequency gaze data are captured, processed, and filtered — a step we hadn't previously been able to utilize. When the data gets to us, it's ready for our implementation. It's a tremendous time-saver, and it puts the raw data into a consumable format.
Scott Anderson, chief clinical officer, NeuroSync

#2 认知表现 — REACT Neuro 和Aperion Life

随着全球人口的老龄化,认知表现的重要性得到了关注,我们努力确保生活质量,并促进对神经退行性疾病(如阿尔茨海默病、肌萎缩侧索硬化症和帕金森病)的治疗。REACT Neuro是一家总部位于剑桥的平台开发公司,他们一直致力于将传统的认知测试转化为虚拟现实。在一项旨在确定健康生活方式对认知表现的影响的试验中,硅谷初创公司Apeiron Life使用了REACT Neuro的虚拟现实模拟经典纸质追踪测试。

该应用程序利用Tobii Ocumen的先进生物测量技术,揭示无法手动观察到的眼跳和注视点。我们的数据可靠性确保了随时间的表现追踪。

自实验结束以来,两家公司对像眼动追踪、动作捕捉、呼吸、脑电和热成像传感器等先进传感技术产生的深层指标的潜力抱有极大兴趣,并且认为健康趋势将确保此类先进技术向主流市场渗透。

Gif
在这个经典的实验中,我们的技术揭示了人的视线模式以及他们在每个子任务上停留的时间 - 在最右边的图像中,圆圈越大,说明人们需要更长时间来思考下一个数字是什么。在手动测试中,只能测量完成所需的时间。
Extracting the high-resolution data associated with both eye and hand movements is simply not possible with traditional manual observation. The new technology provides potential to see how the brain works in unique and hopefully meaningful ways.
Dr. David Martin, chief scientist, Apeiron Life

您可以在这里阅读完整的博文: 认知能力在不同年龄阶段的表现

#3 基于VR的培训 — Cineon Training

虽然数字各不相同,但有些消息来源预测,在未来十年内全球将面临高达80,000名训练有素飞行员的缺口。这种短缺是由多种因素造成的,包括新冠疫情期间的裁员和提前退休,军方飞行员数量减少(导致民航可用人数下降),疫后旅游业的恢复以及设备供不应求,模拟飞行训练设施的建设成本高昂,每小时费用飙升。

总部位于英国的Cineon Training公司开发了一款名为TACET的基于虚拟现实的应用程序,用于建立沟通能力和加速技能的获取。它利用眼动追踪技术和Tobii Ocumen的先进信号,提高了在模拟飞行训练中的时间利用效率。

VR image inside aircraft cockpit
图源:Cineon Immersive Training

TACET使用搭载Tobii眼动追踪技术的Pico Neo 3 Pro Eye无线VR头显,并连接到微软Azure云解决方案以上传和审查记录。图中展示了专家(绿线)和新手(白线)在执行任务时的对比。

其中一个主要的收获是眼动跟踪对于所学技能的稳健性有着重要影响。我们也从其他合作伙伴那里听到过这个观点。眼动追踪提供了一个了解思维过程的窗口。它允许我们评估情绪和感受,并加快学习速度。在学习新技能时,能够看到自己的眼睛移动方式(视觉焦点)并与专家的执行方式进行比较,有助于解决认知难题。它还允许那些已经擅长某项技能的人改进他们的解决方案。

Eye tracking and VR are the primary research tools our lab uses to develop innovative tools for training in aviation and other high-risk industries. Tobii Ocumen allows us to develop our unique tools, much more effectively, spending more time on our core business, and less on programming.
Dr. Sam Vine, co-founder of Cineon Training and associate professor at University of Exeter

#4 医疗技术的数字化转型 — Olleyes

作为一个提供关于人类洞察的数字工具,眼动追踪有助于将传统的基于手工观察的护理转变为数字领域。正如我之前所提到的,在NeuroSync的脑震荡评估中,虚拟现实带来了灵活性的额外好处,通常会导致高度灵活的解决方案。

Olleyes使用Tobii Ocumen在Pico Neo 3 Pro Eye VR头显上进行全面的视野评估,例如分析视网膜敏感性,用于患有青光眼的患者。他们开发了一套眼睛测试,一个人可以迅速进行(只需几分钟),无论是躺下还是坐着,这增加了解决方案的灵活性和诊所每天可以评估的人数。像许多其他的医疗技术公司一样,Olleyes致力于通过实现“转移到家庭”的便利性,使解决方案更加便利。

如果你想更多了解我们与Olleyes的合作,我推荐你观看我同事Amanda Bentley和Olleyes首席执行官Alberto Gonzalez在VRARA Healthcare论坛上的讲话,打造更易触达且有效的视力护理

Our VisuALL Virtual Reality Platform (VRP) provides automatic, objective, and standardized visual function tests. Our partnership with Tobii allows us to increase the accuracy of our technology even more. Tobii Ocumen has helped us develop and deploy our product offerings and is a step forward in automating the assessment of visual function.
Alberto Gonzalez, CEO, Olleyes

#5 飞行员培训 – VTR

要能够飞行一种新的飞机类型,比如波音737或空客A320,飞行员需要获得一张机型认证证书(执照)。为了学习所有仪器的位置和功能,他们通常使用所谓的“纸老虎”-座舱的模拟装置。这些“老虎”可以是先进的触摸屏设备,但它们往往昂贵并且不能提供对三维空间的逼真感受。对于通常只有大约2-3周的时间来学习一种新的飞机类型和座舱中每个灯光、按钮、开关和仪表的含义的飞行员来说,这种情况并不理想。例如,波音737的手册大约有2000页。

为了解决纸老虎的生态效度问题,VTR开发了一种虚拟现实模拟,能够准确复制座舱环境,确保飞行员获得坚实的技能。关键是,该公司与JetBlue(美国最大的航空公司之一)合作,以获取支持投资回报的实际应用案例数据。

如果你想深入了解VTR,请观看我同事Johan Bouvin和VTR的联合创始人之一Rick Parker的AWE演讲- 用XR和眼动追踪为飞行员培训带来革新

关于 Tobii Ocumen

这五种具有高度创新性的应用案例在商业角度是可行的,因为它们利用了虚拟现实的封闭性、可移动性和媒介所提供的逼真程度,以提供一种成本效益高的解决方案。而且所有这些案例都是使用 Tobii Ocumen 开发的。

那么,Tobii Ocumen能为开发这样的应用程序带来什么特性呢?

先进的信号和过滤器

Tobii Ocumen提供了高级眼动追踪信号,包括:

  • 视线向量 (双眼分别提供)。
  • 瞳孔直径 (双眼分别提供)。
  • 高精度的系统和设备时间戳。
  • 元数据,例如眼动追踪硬件,固件,和运行环境版本信息等。

过滤器数据库是我们的客户非常青睐的一个功能,它提供了基于研究的、经过预验证的用于检测眼动(如注视、眼跳和平稳视觉跟踪)的过滤器组件。这些过滤器将我们的眼动跟踪硬件捕获的数据转化为标准生物标志物的构建块。

校准与定位

为了确保Tobii Ocumen提供高质量数据并正确显示图像,VR头显需要正确地佩戴在用户头部,我们的眼动追踪需要根据个体进行校准。

为了简化校准和定位的过程,我们开发了一些很酷的功能,您可以直接嵌入到您的应用程序中,这样用户就不需要按照繁琐的步骤退出您的应用程序,启动单独的校准/定位过程,然后再继续。

Calibration screen with 5 points and validation check
嵌入到应用中的眼动追踪校准
Tobii Ocumen positioning guide
头显定位的简易向导

记录与回放

为了推动开发,Tobii Ocumen将情境数据(如3D物体运动和用户视图视频)与高级眼动追踪和控制器事件的传感器数据整合为一个统一的格式。

我们还提供了一些现成的录制设备和模板,用于常见的研究研究范式,您可以快速集成到您的Unity项目中。为了帮助您重放,我们开发了Tobii Ocumen Studio(请参考下面的视频),该工具以易于理解的可视化格式呈现记录的数据(情境和传感器)。

数据完整性

在 Tobii Ocumen 最近的发展中,我们在数据结构方面进行了一些努力,优化了速度和文件大小,并创建了一个具有开放I/O接口的灵活产品架构。该产品支持数据转换,您可以轻松地导入任何设备或机器收集的数据,无论您偏好使用哪种编程语言。

我认为我们与科学研究界的密切联系值得一提。由于这一点,我们非常了解商业解决方案中需要科学级别验证数据的需求,这些解决方案需要符合监管认证要求。我们的验证包括人群覆盖率、准确性、精确度和可追踪性能。

AWE USA 2023 - 医疗保健与健康:颠覆医疗、培训和更多

AWE USA 2023 - 医疗保健与健康:颠覆医疗、培训和更多

相关链接

申请Tobii Ocumen免费试用

我们可提供 14 天的试用权限,仅限商业机构 (B2B) ,非个人。

    WeChat

    作者

    • Headshot of Robert Malmström

      Robert Malmström

      Product Manager Tobii Ocumen

      Hi, I am the product manager for Tobii Ocumen, which means I get to work closely with our development teams and customers to determine when and what features we should create or improve. It’s my job to ensure that our products are functional and intuitive without creating a burden for developers. I believe in the enjoyment factor. It should be fun and easy to make XR applications while getting the most out of a headset that includes our technology.

    相关内容

    Subscribe to our blog

    Subscribe to our stories about how people are using eye tracking and attention computing.