编译:chux
出品:ATYUN订阅号
斯坦福和谷歌正在进行的一项新研究,机器学习智能体试图将航拍图像转换成街道地图,然后再将其转换回来,结果发现这种机器学习智能体通过一种几乎难以察觉的高频信号来隐藏信息。
这一现象揭示了电脑自发明以来一直存在的一个问题:它们完全按照你的指令行事。
正如你可能猜到的,研究人员的意图是加速和改进将卫星图像转换为以精确著称的谷歌地图的过程。为此,研究小组正在研究一种叫做CycleGAN的神经网络,这种神经网络通过大量的实验,学习如何将X型和Y型的图像高效而准确地相互转换。
在一些早期的结果中,智能体做得很好。这个团队得到的消息是,当智能体根据街道地图重建航拍照片时,有很多细节似乎在后者中根本不存在。例如,在创建街道地图的过程中被消除的屋顶天窗,在请求智能体执行相反的过程时,会神奇地重新出现。
原来的地图(左);从原始中心生成的街道地图(中);仅从街道地图生成的空中地图。注意,两个航拍地图上的点没有在街道地图上表示出来。
虽然很难深入了解神经网络流程的内部工作原理,但团队可以轻松审核其生成的数据。其目的是使智能体能够解释这两种地图的特征,并将它们与另一种地图的正确特征进行匹配。
但实际上,给智能体评分的是航拍地图与原始地图的距离,以及街道地图的清晰度。
它学会了如何将一个特征巧妙地编码为另一个的噪声模式中。航拍地图的细节被写入街道地图的实际视觉数据:人眼不会注意到的数千个微小颜色变化,计算机可以轻松检测到。
事实上,计算机非常擅长将这些细节放入街道地图,它已经学会将任何航拍地图编码成任意街道地图!它甚至不必关注“真实的”街道地图。重建航拍照片所需的所有数据可以叠加在完全不同的街道地图上。
右边的地图被编码到左边的地图中,没有明显的视觉变化。
(c)中的彩色地图显示了计算机系统的细微差别。你可以看到它们形成了航拍地图的一般形状,但你永远不会注意到它,除非它被突出显示并夸大。
将数据编码到图像中的这种做法并不新鲜,它是一门名为隐写术的科学,它一直用于水印图像或添加像摄像机设置这样的元数据。但是,计算机创建自己的隐写方法以逃避必须实际学会执行手头的任务是相当新的。
人们也许将其作为“机器越来越聪明”中的一步,但事实是它几乎完全相反。这台机器不够聪明,无法完成将这些复杂的图像类型相互转换的困难工作,它找到了一种能欺骗人类,利用人类不善于检测的弱点的方法。如果对结果进行更严格的评估,这是可以避免的。
与往常一样,计算机完全按照要求进行操作,因此您必须非常具体地了解你的要求。在这种情况下,计算机的解决方案是有趣的,它揭示了这种类型的神经网络可能存在的弱点:计算机如果没有被明确阻止这样做,将找到一种方法把细节传输给自己,以便快速轻松地解决特定问题。
这实际上正体现了计算机领域中的一条原则:PEBKAC(错误是由操纵复杂系统的人类用户造成的)。或正如HAL所说:“它只能归因于人为错误。”
领取专属 10元无门槛券
私享最新 技术干货