自动化所通过结构化神经信息解码技术重建自然及人脸图像

 

　　长期以来，哲学家和科学家试图揣测、观察、理解和破译大脑的运作方式，以使人们能够感知和探索自然世界。其中，作为人类感知世界重要的信息通道，人脑视觉系统的加工机制获得研究人员的关注。较多研究尝试利用神经信息编解码方法，即通过构建外部刺激与神经活动间的定量关系，揭示大脑视觉信息加工的机制。前期，研究人员提出一种基于贝叶斯深度学习的视觉神经信息解码方法(TNNLS 2018)，并且能够根据记录到的脑活动信号，重建被试感知到的简单视觉刺激内容(如手写数字、字母等图案)。然而，复杂的自然视觉刺激重建是难题。针对该问题，研究人员提出结构化神经信息解码方法。该方法通过多任务特征解码的方式，揭示出多个典型计算机视觉模型(如VGG、ResNet)与人脑腹侧视觉通路在层次化特征表达方面的联系。通过利用这种层次化特征与人脑视觉皮层信号表达间的关系，新方法能够根据采集到的少量人脑fMRI数据，重建出被试感知到的复杂自然图像和人脸刺激内容。该研究为理解大脑解码过程提供新视角，促进非侵入式脑-机接口技术的进步。神经信息编解码是脑机接口领域的核心研究问题，也是探索人脑复杂功能背后的原理从而促进类脑智能发展的有效途径。
 

　　博士杜长德为论文首要作者，研究员何晖光为论文通讯作者。为促进该领域的持续发展，研究人员已将项目代码及新采集的脑活动数据集开源。研究工作得到国家基金委重点项目、中科院战略性先导科技专项等的支持。
 论文链接