日常生活中，人们常常需要整合来自不同感觉器官的信息来认识外部世界。作为人类非常重要的两个感觉通道，视觉和听觉之间的相互作用一直备受关注。在视听交互的过程中，一致的视听刺激能够促进认知而不一致的视听刺激则可能会干扰认知。虽然对视听一致性的研究已经取得了很多成果，但是对于视听刺激的变化的感知至今却少有研究，而视听刺激变化的一致性问题以及该情况下大脑活动的源和皮层神经网络的研究就更加缺乏了。因此，本文旨在研究视觉影响下受试者对听觉响度的变化进行判断的过程，以帮助我们更好地理解人类的心理认知过程和视听交互作用的神经机制。在实验中，我们让12名受试者判断先后呈递的两个听觉刺激在响度上是否发生变化，同时可能伴随或者不伴随两个同步的视觉刺激（圆盘的大小可能相同或者不同）。行为学和脑电信号都被采集以进行分析。为了寻找头皮脑电对应的颅内源，从而定位认知活动涉及的脑区，神经领域的学者们采用了许多方法，其中偶极子定位法（DipoleLocalization Method, DLM）是进行脑电溯源分析的一种常用方法。而在描述大脑皮层间的相互作用时，相较于以往的互相关、互信息等方法，部分直接相干（Partial Directed Coherence, PDC）法更好地体现了皮层区域之间作用的强度和方向，并且这种因果性的联系体现的是通道间的直接相关性。基于脑电信号的高时间分辨率，本文通过DLM和PDC研究视听交互不同阶段大脑的激活情况以及在变化的视觉影响下对听觉响度进行变化判断的皮层相互作用网络，以了解这一认知过程中大脑活动的时空特性。行为学的结果显示，不论视觉还是听觉刺激存在信息变化时，受试者更易受到视听一致性的影响。通过对采集到的头皮脑电信号做事件相关电位（Event-related Potential, ERP）差异波和统计检验，可以发现视听交互作用最显著的两个时间窗，即160-200ms和300-400ms，然后进行溯源分析和皮层网络分析。（1）利用DLM分别在160-200ms和300-400ms时间窗进行溯源分析，发现（i）第一个时间窗内有两个偶极子，分别是脑岛（BA13）和压后皮层乏颗粒区（BA30），它们可能分别参与第一个视听刺激的交互作用以及相应的工作记忆；（ii）第二个时间窗内也有两个偶极子，前运动区皮质（BA6）可能主要参与了决策的做出和声音响度的区分，而尾状核可能是与第二个刺激的视听交互作用以及前后两个声音区分任务中的工作记忆相关。（2）PDC的分析考虑到上述时间窗以及建模的稳定性，选择49-198ms和271-420ms两个时间窗口进行，基本将溯源分析的两个窗口包括在内。发现（i）在第一个窗口中，半球内部与半球间的联系强度近似。视听刺激相较于单一模态的刺激，左半球内及半球间（尤其是左半球向右半球）联系增强。对于视听刺激来说，除了有左侧颞叶和双侧枕叶加入到刺激处理过程中，额叶与枕叶以及中央顶区与枕叶的有向连接可能反应了视听刺激的交互作用。（ii）到了第二个窗口，视听刺激相较于单一模态的刺激，左半球向右半球的联系大大增强且右半球内交互作用增强。与单一模态相比，视听网络中两侧额叶发挥着重要的作用，且双侧顶叶和额叶之间的联系（P3->F4, P4->F3）增强。本文的初步结果表明，在视听刺激变化判断任务中，随着时间的推移，大脑活动的颅内源发生变化，皮层网络显示大脑右侧半球占据了主导地位，并且额叶和顶叶在高级认知活动（即决策和区分）中发挥了重要的作用。这不仅将视听一致性的研究扩展到了变化感知上，还进一步阐述了交互过程中的时空动态特性以及因果性的皮层相互作用，揭示了视听交互作用的内在神经机制。