日本科学家的AI读心术，解码脑电波，还原人眼所见

大数据文摘作品

编译：惊蛰、一针、龙牧雪

想象一下，如果电脑可以把你心中所想表现出来会怎样。

听起来感觉太遥远？然而最近，四位来自日本京都大学的科学家的研究成果，让这样的想象离落地更进一步。Shen Guohua、Tomoyasu Horikawa、Kei Majima 和Yukiyasu Kamitani在BioRxiv上发表了他们利用AI来解码人类思维的研究成果。

机器学习以前就曾被用来研究脑部扫描（MRI，即核磁共振）。给人类看一些简单的图像，比如黑白字母、简单的几何图形，AI能根据脑部活动的信号图还原人眼所见的图像。这一研究成果曾发表在著名刊物Neurons上。

大数据文摘公众号后台对话框内回复“脑电波”即可下载以上两篇论文。

还原效果还不错

不过这次，京都的这些科学家们开发了一种新技术，利用人工智能中的深度神经网络（deep neural networks）来“解码”思想。这种新技术让科学家们能够解码更复杂的分层图像，即拥有多层颜色和结构的照片（比如一只鸟，或一个戴着牛仔帽的人）。看一下动图。左边是人眼看到的图像，右边是机器还原的图像。

有点恐怖= =

“我们一直在研究通过观察人类大脑活动来重建或重现图像的方法。”其中一位科学家Kamitani表示，“以前我们假设图像是由像素或简单的形状组成的，但众所周知，大脑处理视觉信息时会分层次地提取不同层次上复杂度各不相同的的特征或其他信息。”

新的AI研究成果可以让计算机检测物体，而不仅仅是二进制像素。Kamitani说：“这些神经网络构成的AI模型可以用来表示人脑的层次性结构。”

在这项持续10个月的研究中，研究人员给三位受试人员分别展示一段时间的自然图像（比如鸟或人的照片）、抽象几何形状或字母。

第一排是受试者所见到的图片，

后面几排是AI根据3位受试者

对这些图片的不同印象生成的还原图。

在一部分测试中，当正在观看25张图像中的一张时，研究人员会测量记录受试人员的大脑活动。在另一部分的测试中，对大脑活动的记录是在之后受试人员回想图像时进行的。

测量完大脑活动之后，计算机把收集到的信息逆向解码（reverse-engineering）并生成受试人员心中所想的图像。

下面展示的流程图由京都大学Kamitani实验室的研究小组制作，并一步一步分解了这种可视化图像是如何被解码生成的。

下面两张图显示了受试者观看自然图像或者字母的图像时大脑活动的计算机重建结果。

用DGN技术生成的其他一些自然景观图像的重建结果。

黑框和灰框的图像分别是原图

和用DNN网络基于VC活动数据重建之后的图像，

三张重建的图片分别来自三位受试人员。

字母序列的所有重建结果

在另一组受试者观看图片后的回想过程中进行的脑电波测量实验上，科学家们又有了新的突破。

Kamitani说：“和以前不一样的是，采用我们的方法可以重建人类在逐渐回忆过程中脑海里出现的那些模糊的影像。”

如下面的图表所示，当试图解码人们回想图像过程中产生的脑信号时，AI系统重建出的结果就没那么好。那是因为，比起自然图像或字母，人类更难完全确切地记住猎豹或鱼的形象。

一些含复杂形象的图片的重建结果。

右下角的图片作为空白对照，

是根据测试过程中未被展示图片时受试产生的脑信号重建的。

“出现这样的结果是因为，那个时候大脑的被激活的程度变弱了。”Kamitani解释道。

他还提到，随着技术的精确度正在不断提高，这一研究成果潜在的应用前景无可限量。

人们可以简单地通过想象来绘制图片或进行艺术创作；你的梦想可以被计算机画出来；可以通过形象化精神病患者的幻觉帮助改善对他们的照顾；而脑机接口可能有一天会实现人与人之间进行想法或脑海中的图像的直接交流，而不再限于语言。

虽然电脑读心这种事现在听起来可能来自使用脑电波交流的三体星人，但这些日本研究人员在这一联系大脑与计算设备的前沿研究中并不是孤军奋战。

比如，前GoogleX员工 Mary Lou Jepsen致力于在十年内打造一顶可以实现心灵感应的帽子，而企业家Bryan Johnson正在尝试构建可以植入大脑以改善神经功能的计算机芯片。更不用说Elon Musk的脑机接口公司

Neuralink

。

原文地址：

https://www.newscientist.com/article/2162862-ai-reconstructs-whatever-you-see-just-by-reading-a-brain-scan/amp/?__twitter_impression=true

【今日机器学习概念】

Have a Great Definition

志愿者介绍