一个用MetaHuman进行的注视表情实验

人类是依赖交流来建立和发展与他人的联系的社交动物。在我们所有的感官中，我们的眼睛是独特的，它们接收和传递社交暗示。通过眼神交流，我们感到被认可、理解和肯定。婴儿对成年人的眼睛状态比头部运动更敏感。恋人之间通过长时间的深情凝视传达爱意，无需多言。经验丰富的演讲者通过与听众眼神交流来传递强而有力的演讲。眼神交流是我们交流的关键。

虽然我们开始向往元宇宙中的另一种生活，但我相信大多数人想为我们的化身带来真实性，因为它们在增强和虚拟空间中展现了我们自己。可以想象，我们将与其他用户（通过化身）社交并参与群体活动和娱乐。通过眼部追踪技术为化身实现眼神交流和运动变得十分必要。这将极大地增强用户的社交存在感。

用户可以选择迪士尼般的外观或者制作一个数字化的孪生，使其在元宇宙中以各种可能的方式类似于自己，具体取决于他们计划在其中进行的活动类型。我们已经看到了跨平台的动漫风格化身系统，如 Ready Player Me，支持数百个应用程序和游戏。Tobii最近宣布与VR流媒体平台LIV合作，整合了Ready Player Me化身并为内容创作者实现了Tobii眼部追踪。

为了了解眼部追踪是否真的能为甚至是逼真的化身带来更多的真实感，我最近花了一些时间在 Epic 的 MetaHuman 中启用了 Tobii 眼部追踪。今天，我想分享一下在这个迷人的“黑客”体验中让我感到兴奋的事情。

在VR中捕捉面部表情

虚拟人物角色是超逼真的，可以利用实时动作捕捉（Mocap）设备通过实时链接（Live Link）进行还原。存在多个动作捕捉解决方案，可以创建惟妙惟肖的角色。它们也可以捕捉面部动作，但是采用了不同的方法，例如在高端全身动作捕捉套件（例如Cubic Motion）中的内置方法，或者是创新地利用iPhone X。然而，它们无法直接用于虚拟现实应用程序中的头像，因为使用者已经戴上了遮住脸部的虚拟现实头盔。

下一代VR头盔配备了额外的传感器，用于眼球跟踪和嘴唇跟踪，以捕捉面部表情。例如，Tobii眼球跟踪技术已经集成到Pico Neo3 Pro Eye、HP Reverb G2 Omnicept Edition、Pico Neo 2 Eye和HTC Vive Pro Eye中。在这个实验中，我使用了HP Reverb G2 Omnicept Edition头盔，并利用实时注视输入对在VR应用中的MetaHuman角色进行表情控制。

通过视觉输入探索表情和控制

通过MetaHuman面部绑定，有几个控制点用于控制眼睛的动作和周围肌肉的运动。面部控制板显示了当控制注视方向时眼部肌肉的运动情况。我们配置这些控制点来从VR头显获取实时注视输入，以更新MetaHuman的视线方向表情控制和其他肌肉控制点，实现真实的眼神表达。

使用组合注视方向作为输入，我们将其归一化并分解，以获得更新控制点所需的左右和上下移动。

眼动表情控制

每个眼睛的表情控制方向都采用0.0到1.0的浮点值。对于每只眼睛，规范化的凝视方向向量作为输入。在这种情况下，我们使用了合并凝视，即一个单一的向量，因此相同的值将适用于双眼。当直视时为0.0，用户的凝视方向最大为1.0。

眉毛抬高表情控制

除了外观表情控制之外，我们还使用了眉毛控制，仅使用凝视方向来测试当用户再次向上看时的效果。我们没有使用任何额外的输入或信号来控制眉毛，仅使用向上的方向来触发。MetaHuman已经将控制分解为内部区域和外部区域的提起眉毛，并且它们可以单独加权。

未来的开发方向

在这个实验中，我们只使用注视方向作为输入，来更新 MetaHuman 面部绑定上的大约 12 个表情控制点，以实现逼真的眼睛运动。可以触发更多的控制点来获得 VR 应用中的额外注视表情。

对于未来的发展和探索，我们希望评估眨眼和眼睛睁开的信号，以实现对眨眼、眯眼、皱眉甚至提颊等表情的控制。

收敛信号也可以在玩家观察可变距离的物体时使用，因此其他玩家在同一虚拟现实应用中可以正确观察到头像。

总而言之，我相信在元宇宙中，真实和表达力强的头像将会受到极大的欢迎，不仅因为用户希望避免“怪异谷”效应，而且他们希望无论身在何处都能够准确有效地被代表。因此，我强烈推荐开发者们从今天开始探索眼球追踪的好处。在我们的XR开发者专区了解有关在社交应用程序中启用头像的更多信息。或者如果您有兴趣与我们合作未来的发展，请与我们联系。