来源：期刊VIP网 时间：
作者：董晨杰;王政烨;李淦棠;王穗苹;
单位：华南师范大学心理学院;华南师范大学儿童青少年阅读与发展教育部哲学社会科学实验室;
摘要：多感觉模态信息处理是人类基本的心智功能，是漫长进化塑造而成的稳健、灵活、高效的信息加工方式，是贯穿感知、注意、记忆、语言、学习的重要特性。解析人脑多模态信息处理的认知神经和计算机制，对理解大脑功能组织原则有重要理论意义，对启发多模态人工智能发展有重要实践价值。然而，人脑的多模态信息处理机制异常复杂，来自神经科学、认知科学等领域的研究者从多种问题视角开展研究，分别提出了不同的多模态信息处理原则、理论、计算模型。系统回顾、梳理人脑多模态信息处理机制，对于准确把握该领域的前沿进展、启发后续研究非常关键。以“视听感知”这一重要多模态信息处理功能为切入点，在神经元、皮层、大脑通路等层面综述了人脑多模态信息处理的认知神经机制。首先，介绍了人脑多感觉神经元的功能特性和响应原则；其次，讨论了初级皮层间跨模态信息调制的关键机制；再次，分析了以多感觉脑区为核心的视听加工大脑网络的主要功能和计算机制；最后，讨论了人脑多模态信息处理机制对多模态人工智能系统开发的启示。
关键词：多感觉模态信息处理;;视听感知;;多模态人工智能
基金资助：广东省重点领域研发计划项目“语言加工中多模态整合的脑机制及其应用”(2023B0303010004);; 国家自然科学基金面上项目“听觉障碍与跨模态大脑皮层重组：机制与预后”(32171051)
