眼动追踪能够揭示认知过程的哪些信息？

每天，人们在复杂的视觉环境中穿行，他们的视网膜受到大量视觉刺激的轰击。然而，在这个高度动态的过程中，人们可以选择关注哪些刺激，忽略哪些刺激。人类通过将视线指向视觉场景的特定区域来实现这种选择性感知。眼动不仅揭示了在基于瞬间选择性获取的视觉信息，它们还与记忆、决策和联想学习等认知过程紧密相连。理解人类的眼动行为以及它如何影响认知和行为是心理学和神经科学中最基本的问题之一，这也使眼动追踪成为一种非常适合解决此类问题的技术。 

在这篇学习文章中，我们将介绍如何使用眼动追踪技术来研究认知过程以及这些研究带来的洞察。我们将讨论记忆、决策和问题解决。如果你想探索更多可以用眼动追踪技术研究的认知过程，请查看我们的白皮书《眼动追踪——认探索知过程之窗》。

为何要使用眼动追踪研究认知过程？

眼动追踪能够持续考察认知过程

认知过程是相互关联和多层次的。随着时间的推移，每个过程都会经历不同的操作阶段。例如，决策过程中展开的一系列认知过程：场景探索、目标检测、思考和对反应做出的决定。如果在这样的任务中，我们依赖于明显的行为反应（例如，按键、书面文本或话语），那么导致决策的促成过程就不会被记录下来。眼动追踪数据可以提供认知过程（例如，决策）的行为最终结果，并从实验期间发生的不同层次的相关过程中独立出来。

眼动为脑功能提供了洞察 

在过去的几十年里，研究人员对致使眼动行为产生的大脑回路进行了研究，对认知、眼动和大脑生理学之间的关系有了深刻的理解（Hannula等人，2010年；Knudsen，2018年）。丰富的动眼神经回路知识使眼动追踪成为一种很好的方法，可以在人的一生中探索健康和非健康大脑状态下的各种认知过程。 

眼动追踪与其他生理指标的兼容性 

眼动测量可以与大脑活动测量和生物传感器（例如，脑电图（EEG）、心电图（ECG）、颅内脑电图（iEEG）和皮肤电反应（GSR））相结合，从而深入了解眼动、皮层活动和其他生理变量是如何通过相互作用来促成各种行为的发生。 

眼动追踪允许跨物种比较研究并推动转化研究 

可以对不同物种进行眼动追踪和类似甚至相同的行为测试，从而进行物种间比较，并揭示行为和大脑生理之间的因果关系。迄今为止，研究人员已对非人类灵长类动物（A.M.Ryan等人，2019年）、狗（Karl等人，2020年）、小鼠（van Beest等人，2021）、大鼠（Wallace等人，2013年）、鸽子（Kano等人，2018年）、斑马鱼（Dehmelt等人，2018）进行了眼动研究。 

记忆

在视觉环境中，有几个关键因素会引导眼动行为的做出：刺激物的物理特征（如颜色和亮度）、我们的内在状态以及与视觉刺激相关的先验知识（如情景记忆或语义记忆）。我们关注的对象是我们自发搜索的目标，但我们也关注一些与我们的知识和期望有些新奇或矛盾的对象。眼动追踪研究的结果表明，视觉场景扫描后可以检索到多种不同的记忆表征，并争夺动眼导向的优先级（Wynn、Ryan和Moscovich，2020）。动眼神经和记忆系统（如海马体、额叶视野、背外侧前额叶皮层）之间的解剖和功能联系（Shen等人，2016）进一步支持了眼动行为在记忆过程中的重要性。正如我们将进一步说明的，眼动在功能上与记忆编码和检索是相关的。

在编码阶段，自由观看行为预测了后续记忆的质量（Bylinskii等人，2015；Damiano和Walther，2019）。例如，与同一场景中观看时间较短且注视次数较少的物体相比，观看时间较长且被注视次数较多的物体的无意记忆更好（Bylinskii等人，2015年；Olejarczyk等人，2014年）。眼动为记忆提供视觉输入，并在时间和空间中组织视觉输入，充当了记忆的绑定机制（Nikolaev等人，2022；J.D.Ryan&Shen，2020）。在视觉信息采样时，扫描路径序列与该视觉输入一起被存储下来，以通过将新输入与存储的记忆轨迹进行比较来促进记忆检索（Johansson等人，2022；Wynn等人，2019）。

在视觉信息检索过程中，人们倾向于查看先前关联但空白的位置，这就是所谓的“Looking at nothing”效果。不落在任何上的注视（例如，空白区域）反映了从外部注意力转向内部注意以检索存储的记忆表现（Scholz等人，2018）。在“Looking at nothing””的过程中，当检索存储的记忆时，先前编码的视觉刺激的注视模式会再次重现，称为凝视恢复。回忆记忆的质量由记忆编码和检索期间注视扫描路径的相似程度来预测——编码和检索扫描路径重叠越多，回忆记忆的质量越高（Johansson等人，2022)。

决策

眼动为决策过程提供了广泛的洞察，并为这些过程的展开提供了精细的时间分辨率。眼动测量有助于揭示决策时间、预期回报对决定的影响或对决定结果的信心（Spering，2022）。视觉行为的某些特定时空特征可以在所有不同阶段（预决策、期间决策和事后决策）报告决策的过程。

在做出决定之前，眼动有助于从视觉环境中积累感官信息——这一过程将定义当决策过程开始时哪些信息将被访问，甚至支配工作记忆。视觉行为将反映感官信息收集的顺序，以及决策相关证据如何加权并与先验知识同化（Gottlieb和Oudeyer，2018；Spering，2022)。

一些特定的眼动指标可以预测决策的时间和准确性。在决策过程中。眼跳指标（例如， 峰值速度、幅度、活性和终点离散度） 可以产生关于感知决策时间精度的有价值的信息（Spering，2022）。视觉追随着移动的目标而产生的眼动行为——平稳的追踪——可以指示决策形成过程，甚至可以预测其结果。在棒球或 go/no-go 感觉运动决策范式中（Fooken和Spering，2019），较高的平稳追踪速度与快速决策相关。决策终点可以从与反应相关的对眼跳和微眼跳的抑制（即所谓的动眼肌冻结）中推断出来，这表明了对反应做出的准备，并产生了决策的时间预期的标记（Abeles等人，2020)。

当做出决策时，眼动可以表明主观自信的感觉。 例如，眼跳峰值速度反映了决策的确定程度，其已被证实会随着证据累计的增加而增加（例如， 获得更多的确定性）（塞德曼 等 2018年）。  此外，眼跳、平稳跟踪指标、眨眼和瞳孔扩张与多巴胺密切相关，因此，这些行为都可在与奖励有关的加工中被表征（Hikosaka 等人，2014）。例如，眼跳速度的增加反映出对奖励的期待，而对付出努力的预期会使眼跳速度降低（Shadmehr 等人，2019)。

问题解决和创新

问题解决涉及构建描述相关信息的心理模型，并找到最适合问题的解决方案。它是一个多层次的认知过程，需要同时发挥多个认知功能，如注意、记忆和创造（即发散思维)。

眼动可以揭示积极的认知表征，以及在解决问题时如何在大脑中操纵它们。当解决问题或创造性地思考时，人们倾向于将目光从相关刺激转移到空白处。远离刺激所花费的时间随着问题的难度而增加，因为注意力往往会在内部转移，从而观察到了looking-at-nothing 现象（Ferreira等人，2008）。 当观察空白区域时，眼动模式反映了用于解决内部问题的心理图像（Spivey和耿，2001）。 即使在简单的推理活动中，例如区分左、右或上下，人们也会朝着各自的方向移动视线（Demarais和Cohen，1998）。  请注意，同样的Look at nothing现象和相关的眼动行为能够推断出不同的认知过程（记忆检索、解决问题或创造性思维），这取决于手头的任务属性。

成功的问题解决只能通过眼动来识别。Knoblich及其同事（Knoblich等人，2001）证明了随着时间的推移，尤其是在达成解决方案之前，对于解决问题的相关目标的注视程度会增加。这项研究证明了眼动追踪在问题解决任务中的独特作用，而在以往，研究人员只能依赖于传统的效能指标，如通过按键或鼠标追踪来测量的问题解决的时间和速度（Knoblich等人，2001年)。

结论

眼动行为与认知过程密切相关，如记忆、决策、问题解决。如本文所介绍的，眼动追踪技术有助于了解人类的视觉所见及其对认知和行为的影响。

如果您有兴趣进一步探索眼动追踪能够对认知功能带来哪些洞察，以及研究这些功能的常用范式，请阅读我们的白皮书“眼动追踪——探索认知过程之窗”。

参考文献

Abeles, D., Amit, R., Tal-Perry, N., Carrasco, M., & Yuval-Greenberg, S. (2020). Oculomotor inhibition precedes temporally expected auditory targets. Nature Communications, 11(1), Article 1.

Bekkering, H., Adam, J. J., Kingma, H., Huson, A., & Whiting, H. T. A. (1994). Reaction time latencies of eye and hand movements in single- and dual-task conditions. Experimental Brain Research, 97(3), 471–476.

Bylinskii, Z., Isola, P., Bainbridge, C., Torralba, A., & Oliva, A. (2015). Intrinsic and extrinsic effects on image memorability. Vision Research, 116, 165–178.

Damiano, C., & Walther, D. B. (2019). Distinct roles of eye movements during memory encoding and retrieval. Cognition, 184, 119–129.

Dehmelt, F. A., von Daranyi, A., Leyden, C., & Arrenberg, A. B. (2018). Evoking and tracking zebrafish eye movement in multiple larvae with ZebEyeTrack. Nature Protocols, 13(7), Article 7.

Demarais, A. M., & Cohen, B. H. (1998). Evidence for image-scanning eye movements during transitive inference. Biological Psychology, 49, 229–247.

Ferreira, F., Apel, J., & Henderson, J. M. (2008).
Taking a new look at looking at nothing. Trends in Cognitive Sciences, 12(11), 405–410.

Fooken, J., & Spering, M. (2019). Decoding go/no-go decisions from eye movements. Journal of Vision, 19(2), 5.

Gellman, R. S., Carl, J. R., & Miles, F. A. (1990). Short latency ocular-following responses in man. Visual Neuroscience, 5(2), 107–122.

Gottlieb, J., & Oudeyer, P.-Y. (2018). Towards a neuroscience of active sampling and curiosity. Nature Reviews Neuroscience, 19(12), Article 12.

Hannula, D., Althoff, R., Warren, D., Riggs, L., Cohen, N., & Ryan, J. (2010). Worth a Glance: Using Eye Movements to Investigate the Cognitive Neuroscience of Memory. Frontiers in Human Neuroscience, 4.

Hikosaka, O., Kim, H. F., Yasuda, M., & Yamamoto, S. (2014). Basal ganglia circuits for reward value-guided behavior. Annual Review of Neuroscience, 37, 289–306.

Johansson, R., Nyström, M., Dewhurst, R., & Johansson, M. (2022). Eye-movement replay supports episodic remembering. Proceedings of the Royal Society B: Biological Sciences, 289(1977), 20220964.

Kano, F., Walker, J., Sasaki, T., & Biro, D. (2018). Head-mounted sensors reveal visual attention of free-flying homing pigeons. Journal of Experimental Biology, 221(17), jeb183475.

Karl, S., Boch, M., Zamansky, A., van der Linden, D., Wagner, I. C., Völter, C. J., Lamm, C., & Huber, L. (2020). Exploring the dog–human relationship by combining fMRI, eye-tracking and behavioural measures. Scientific Reports, 10(1), Article 1.

Knoblich, G., Ohlsson, S., & Raney, G. E. (2001). An eye movement study of insight problem solving. Memory & Cognition, 29, 1000–1009.

Knudsen, E. I. (2018). Neural Circuits That Mediate Selective Attention: A Comparative Perspective. Trends in Neurosciences, 41(11), 789–805.

Nikolaev, A. R., Bramão, I., Johansson, R., & Johansson, M. (2022). Episodic memory formation in naturalistic viewing [Preprint]. Neuroscience.

Olejarczyk, J. H., Luke, S. G., & Henderson, J. M. (2014). Incidental memory for parts of scenes from eye movements. Visual Cognition, 22(7), 975–995.

Ryan, A. M., Freeman, S. M., Murai, T., Lau, A. R., Palumbo, M. C., Hogrefe, C. E., Bales, K. L., & Bauman, M. D. (2019). Non-invasive Eye Tracking Methods for New World and Old World Monkeys. Frontiers in Behavioral Neuroscience, 13.

Ryan, J. D., & Shen, K. (2020). The eyes are a window into memory. Current Opinion in Behavioral Sciences, 32, 1–6.

Scholz, A., Klichowicz, A., & Krems, J. F. (2018). Covert shifts of attention can account for the functional role of “eye movements to nothing.” Memory & Cognition, 46(2), 230–243.

Seideman, J. A., Stanford, T. R., & Salinas, E. (2018). Saccade metrics reflect decision-making dynamics during urgent choices. Nature Communications, 9, 2907.

Shadmehr, R., Reppert, T. R., Summerside, E. M., Yoon, T., & Ahmed, A. A. (2019). Movement Vigor as a Reflection of Subjective Economic Utility. Trends in Neurosciences, 42(5), 323–336.

Shen, K., Bezgin, G., Selvam, R., McIntosh, A. R., & Ryan, J. D. (2016). An Anatomical Interface between Memory and Oculomotor Systems. Journal of Cognitive Neuroscience, 28(11), 1772–1783.

Spering, M. (2022). Eye Movements as a Window into Decision-Making. Annual Review of Vision Science.

Spivey, M. J., & Geng, J. J. (2001). Oculomotor mechanisms activated by imagery and memory: Eye movements to absent objects. Psychological Research, 65(4), 235–241.

van Beest, E. H., Mukherjee, S., Kirchberger, L., Schnabel, U. H., van der Togt, C., Teeuwen, R. R. M., Barsegyan, A., Meyer, A. F., Poort, J., Roelfsema, P. R., & Self, M. W. (2021). Mouse visual cortex contains a region of enhanced spatial resolution. Nature Communications, 12(1), Article 1.

Wallace, D. J., Greenberg, D. S., Sawinski, J., Rulla, S., Notaro, G., & Kerr, J. N. D. (2013). Rats maintain an overhead binocular field at the expense of constant fusion. Nature, 498(7452), Article 7452.

Wynn, J. S., Ryan, J. D., & Moscovitch, M. (2020). Effects of prior knowledge on active vision and memory in younger and older adults. Journal of Experimental Psychology: General, 149, 518–529.

Wynn, J. S., Shen, K., & Ryan, J. D. (2019). Eye Movements Actively Reinstate Spatiotemporal Mnemonic Content. Vision, 3(2), Article 2.