首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >谷歌大脑与Open AI合著论文:机器视觉的一个致命缺陷

谷歌大脑与Open AI合著论文:机器视觉的一个致命缺陷

作者头像
新智元
发布于 2018-03-27 06:44:48
发布于 2018-03-27 06:44:48
6750
举报
文章被收录于专栏:新智元新智元

【新智元导读】计算机视觉很厉害,但是,只要稍加修改,比如使用美图软件加一个滤镜,计算机视觉就错误频出。MIT报道把这一缺陷称为计算机视觉的“阿喀琉斯之踵”,认为这是目前视觉领域的一个致命缺陷。如果计算机视觉要得到应用,比如用人脸识别侦察罪犯,但却连“美图秀秀”都搞不定的话,那确实是一个比较严重的问题。

现代科学最伟大的进步之一就是机器视觉的发展。在短短的几年里,新一代的机器学习技术已经改变计算机“看”的方式。

现在,机器在人脸识别和物体识别上比人要厉害。在众多基于视觉的任务中,如驾驶、安全监控等,机器视觉都起到了革命性的作用。机器视觉现在简直就是超人。

但是也产生了一个问题。机器视觉的研究人员发现了一些令人担忧的缺点。机器视觉的算法有一个致命缺陷:修改后的图像能骗过机器,但辨别这些图片,对人类来说并不是问题。

这些修改后的图像被称为对抗图像(adversarial image),它们对计算机是一个巨大的挑战。“人脸识别领域的一个对抗性样本(adversarial example)可以是将非常小的标记涂到人脸上,人类观察者会正确认出这个人,但是机器学习系统会将其识别为不同的人。” 来自“谷歌大脑”项目的Alexey Kurakin和Samy Bengio以及OpenAI的 IanGoodfellow说。

因为机器视觉系统还很新,对于对抗图像知之甚少。没有人知道如何最好地创建对抗图像,它们是如何骗过机器视觉系统,以及要怎样防范这种攻击。

现在,这些正在改变。这要感谢Kurakin等人做出的努力,他们是第一次开始系统地研究对抗图像的人。他们的研究显示,机器视觉系统非常容易遭受这种攻击。

该团队首先建立了用于机器视觉研究的标准数据库ImageNet。该数据库里的图像根据它们所显示的内容进行了分类。标准测试是使用该数据库的一部分来训练机器视觉算法,然后测试该算法对数据库的另一部分进行分类的表现。

表1:前两排的图像是护膝,而后面的几排是垃圾场。在所有的测试中,“干净”的图像都得以正确的分辨,但是,对抗图像的分辨却全部错误。

测试中的表现是这样计算的:计算该算法在前5个答案或是前1个答案中正确分类的频率(也就是前5个答案中的正确率或是第1个的正确率);或者计算该算法在前5个答案或是前1个答案中没有答对的频率(也就是其前5个答案的错误率或是第1个的错误率)。

表现最佳的机器视觉系统是谷歌的Inception v3算法,前5个答案的错误率是3.46%。而参与相同测试的人类表现是5%。所以从某处程度上可以说,Inception v3的能力超越了人类。

Kurakin等人将ImageNet数据库中的50,000张图像以3种不同的方式做了修改,然后将其制作成一个对抗图像的数据库。

他们的第一个算法通过最大化交叉熵对图像做出了一个小的改变。第二个算法简单迭代该过程从而进一步改变图像。

这两个算法都改变了图像,使其更难被正确分类。“这些方法可能导致错误分类,比如把某个品种的雪橇狗误认为是另一个品种,”Kurakin等人说。

最后一个算法使用的方法要更加聪明。它通过指引计算机视觉系统走向错误的分类,来对图片进行修订,选出最不符合真实分类的那些。“最不符合的类通常与真正的类高度不同,所以这种方法会导致更加有趣的错误,比如把狗误认为是飞机。”Kurakin和 co说。

然后,他们测试谷歌的Inception v3算法对50,000张对抗图像分类的表现。

前两种简单的算法显著减少了Inception v3在前5个答案和前1个答案的正确率。而第三种算法,也就是最不像的分类算法,则将Inception v3的正确率减少至0.

这证明,对抗图像是一个严重的威胁,但是他们研究的方法有一个潜在的弱点。所有这些对抗图像都是直接输入机器视觉系统中的。

然而,在真实的世界,图像总是由记录图像的照相机系统进行修改。如果这个过程中和了对抗图像算法的效果,那么对抗图像算法就没有用了。所以问题是,这些算法对于真实世界发生的图像变形有多大的抵抗力?

为了测试这一点,Kurakin等人打印出所有的对抗图片和原始图片,并用一台Nexus 5智能手机将其全部拍照。然后,将这些变形后的对抗图像输入机器视觉系统。

Kurakin等人说,第三种算法(最不可能分类方法)最容易受到这些变形的影响。也就是说,对抗图像算法在真实世界真的是一个威胁。“即使是通过照相机直接传入机器视觉系统,大部分的对抗图像都被错误分类。”

这项研究很有趣,使我们对于机器视觉的致命缺陷有所了解。Kurakin等人还将继续这方面的工作,他们想为其他视觉系统发展对抗图像,使对抗图像更加有效。

这些工作会在计算机安全领域引起惊讶。机器视觉系统在人脸识别方面比人类出色,因此被期待用于各个方面,比如解锁智能手机和房门、入境检查、银行账户生物识别技术等等。但是Kurakin等人证明了,要欺骗机器视觉系统很简单。

过去这些年里,我们一直说机器视觉系统有多好,但是现在,我们发现,只要一个小的改变,就能欺骗它。


本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2016-07-29,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 新智元 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
机器视觉的阿基里斯之踵,秘密都在谷歌Brain论文中
“从一些方面看,机器视觉比人类视觉更好。但是现在研究人员找到了一类能够轻松‘愚弄’机器视觉的‘对抗性图像’。“——来自arXiv的Emerging Technology。 现代科学最了不起的进步之一就是机器视觉的兴起。最近几年,新一代机器学习技术已经改变了计算机“看见”世界的方式。 现在,机器在人脸识别和物品识别方面已经超越了人类,并将改变无数基于视觉的任务,例如驾驶、安全监控等等。机器视觉现在简直是超人。 但是有一个问题出现了。机器视觉研究人员已经注意到,这项新技术有一些让人担心的弱点。实际上,机器视
AI科技评论
2018/03/07
7920
机器视觉的阿基里斯之踵,秘密都在谷歌Brain论文中
谷歌发现机器视觉的“阿喀琉斯之踵”
---- 现代科技最引人注目的进步之一是机器视觉的兴起。在短短的几年间,新一代的机器学习技术已经改变了计算机对图像的识别方法。现在,机器在人脸识别和物体识别方面已超越了人类并且彻底改变了大量的基于视觉的任务,比如驾驶、安全监控等等。机器视觉现在已具有超人的能力。 但据麻省理工《技术评论》报道,来自谷歌和OpenAI研究所的研究人员发现了机器视觉算法的一个弱点:机器视觉会被一些经过修改的图像干扰,而人类可以很容易地发现这些图像的修改之处。 研究人员指出:“一例子是对人脸图像打上非常细微的标记,人类依然可以正确
人工智能快报
2018/03/14
7480
2018,一文看尽AI发展真相(上)
虽然少了去年动辄“超越人类”的锐气,但“辅助人类”的人工智能,如今究竟发展到什么程度?就让我们在2018即将结束的时候,来一个简单的回顾。
新智元
2018/12/26
6420
学界 | Ian Goodfellow最新论文:是猫还是狗?不光神经网络识别不了,你也能被忽悠
大数据文摘作品 作者:小鱼、龙牧雪 上面这张图里,是猫还是狗?再好好想想,你能肯定吗? 根据胡子、鼻子较短判断,左边的似乎是猫。但是再看看右边,这明显是只狼狗吧(诡异的戴着蝴蝶结的狼狗orz)。但是这明明是一张图啊?怎么回事? 都是深度学习搞的鬼。 这是Ian Goodfellow大神2月22号最新论文里的成果。对抗性干扰,既能骗过神经网络,也能骗过人眼了。 先回忆一下我们是怎么忽悠神经网络的。 不久前,文摘菌发布过一篇关于如何利用一个小贴纸,让各大著名图像识别算法纷纷破功的文章(自带迷幻剂技能的小贴纸:忽
大数据文摘
2018/05/23
8300
既能欺骗机器,也能迷惑人类!Goodfellow等人提出新一代对抗样本
选自arXiv 作者:Gamaleldin F. Elsayed等 机器之心编译 参与:路雪、黄小天 机器学习模型易受对抗样本的影响,导致识别错误,那么人类呢?在本文中,谷歌大脑 Ian Goodfellow 等人通过最新技术创建了首个欺骗人类的对抗样本,其实现过程是把已知参数和架构的计算机视觉模型的对抗样本迁移至未获取参数和架构的其他模型,并通过修改模型更好地匹配人类视觉系统的初始处理。 引言 机器学习模型很容易受到对抗样本的愚弄:输入经过对抗样本优化后导致模型输出错误的分类(Szegedy et al.
机器之心
2018/05/11
1K2
阅面携手英特尔发布“繁星”系列产品,推动机器视觉迈入AI芯片新纪元
让机器视觉技术以更低门槛普及,是不少AI公司的核心愿景。 阅面科技,正是这样愿景下创立的关键玩家。现在,阅面交出初步成绩单。 11月1日,阅面科技携手英特尔重磅发布“繁星”系列产品,希望借此进一步降低
量子位
2018/03/23
8570
机器视觉与计算机视觉的区别?
计算机视觉与机器视觉,首先是应用场景不一样,就像@Vinjn张静 回答的那样:你把摄像头对着人就是CV,对着车间就是MV。 计算机视觉和机器视觉应用场景不同,就像拉货车和载客车是的,侧重点不同而已,一个侧重人工智能分支,一个侧重工业应用!简单说起来的话,计算机视觉偏重于深度学习并且偏向软件,机器视觉偏重于特征识别同时对硬件方面要求也比较高,不过随着对智能识别要求越来越高的发展,这两个方向毕竟会互相渗透互相融合,区别也仅仅限于应用领域不同而已。 其次,我感觉最大的区别,在于技术要求的侧重点不一样,甚至差别很
智能算法
2018/04/03
3.2K0
机器视觉与计算机视觉的区别?
【计算机视觉】一、计算机视觉概述
  计算机视觉是人工智能的重要组成部分,是赋予机器自然视觉能力的学科,相当于是人工智能的大门。
Qomolangma
2024/07/30
6740
【计算机视觉】一、计算机视觉概述
机器学习理解上最新案例:“以貌取物”与“以貌取书”(附下载)
【新智元导读】 本文介绍 MIT Technology Review 最近报道了关于机器学习的两项研究成果:让机器学会对人产生“第一印象”、能凭借书的封面判断内容。这两项研究对于增强机器“智能”有很大启示。 机器视觉算法学会“以貌取人” 社会心理学家很早就发现,人们能在一瞬间对一个人作出评价,所依据的仅仅是对方的外表,特别是面容。我们使用这些评价来判定初次见面的人是否值得信任,是否聪明,是支配型还是社交型,是否幽默等等。 这些判断可能正确,也可能不正确,而且一点也不客观,但它们具有一致性。在同一情形下让不同
新智元
2018/03/26
7340
机器学习理解上最新案例:“以貌取物”与“以貌取书”(附下载)
【机器视觉技术】:开创人工智能新时代
机器视觉技术实现的第一步是图像采集,也称为图像获取。利用各种图像设备(例如相机、扫描仪等)来采集目标物体的图像数据,以供后续的图像处理和分析。随着数字化技术的发展,图像采集设备越来越普及,从传统的摄影机、拍照机发展到了现在的手机相机、无人机、监控摄像头等。无论是哪种采集设备,其最重要的特征就是要能够捕捉高质量的图像数据。
屿小夏
2024/01/22
3250
【机器视觉技术】:开创人工智能新时代
AI魔幻行为大赏:细数机器视觉的9大应用场景
导读:本文主要介绍了机器视觉的主要应用场景,目前绝大部分数字信息都是以图片或视频的形式存在的,若要对这些信息进行有效分析利用,则要依赖于机器视觉技术的发展,虽然目前已有的技术已经能够解决很多问题,但离解决所有问题还很遥远,因此机器视觉的应用前景还是非常广阔的。
IT阅读排行榜
2019/07/24
1.2K0
AI魔幻行为大赏:细数机器视觉的9大应用场景
推动计算机视觉和视觉AI发展的四大关键趋势
图1a:全球在计算机视觉公司领域的投资显著增加,并且没有放缓迹象。(来源:Woodside Capital/Crunchbase)
小白学视觉
2019/07/22
9740
推动计算机视觉和视觉AI发展的四大关键趋势
计算机视觉:让冰冷的机器看懂多彩的世界
作者:微软亚洲研究院 链接:https://www.guokr.com/article/439945/ 2010年,来自斯坦福大学、普林斯顿大学及哥伦比亚大学的科学家们启动ImageNet大规模视觉识别挑战赛(ImageNet Large Scale Visual Recognition Challenge,ILSVRC),推动了计算机视觉识别挑战的持续发展。据《纽约时报》称,在2014年计算机识别挑战中,计算机系统对目标识别准确率几乎提升了一倍,图像分类错误率则减少了一半。 在此基础上,由微软亚洲研究
企鹅号小编
2018/03/01
1.3K0
计算机视觉:让冰冷的机器看懂多彩的世界
什么是计算机视觉,计算机视觉的主要任务及应用
研究者为了让机器像人一样“看懂”图像,研究了人类视觉系统,该系统包含眼球(接收光信号)、视网膜(光信号转换为电信号,传输到大脑)、大脑皮层(提取电信号中的有效特征,引导人做出反应)。为了让机器模拟人类视觉系统,研究者用摄像头模拟“眼球”获得图像信息;用数字图像处理模拟“视网膜”将模拟图像变成数字图像,让计算机能识别;用计算机视觉模拟“大脑皮层”,设计算法提取图像特征,做识别检测等任务。机器模拟人类视觉系统便是机器视觉,也称计算机视觉(Computer Vision, CV),是在解决机器如何‘看’的问题。
zhangjiqun
2024/12/14
1.4K0
什么是计算机视觉,计算机视觉的主要任务及应用
CanSecWest 2019 | 如何用AI“欺骗”AI?
导语丨3月21日,世界顶级信息安全峰会CanSecWest 2019在加拿大温哥华召开,吸引了Google、Microsoft、Intel、腾讯、阿里等世界顶尖公司参会。来自腾讯安全平台部的AI安全研究员唐梦云受邀参会,并发表了名为《Adversarial Examples: Using AI to Cheat AI》的主题演讲,分享了团队在AI安全攻防的一些思考。
腾讯技术工程官方号
2019/05/16
1.8K0
CanSecWest 2019 | 如何用AI“欺骗”AI?
学界 | 综述论文:对抗攻击的12种攻击方法和15种防御方法
选自arXiv 作者:Naveed Akhtar等 机器之心编译 参与:许迪、刘晓坤 这篇文章首次展示了在对抗攻击领域的综合考察。本文是为了比机器视觉更广泛的社区而写的,假设了读者只有基本的深度学习和图像处理知识。不管怎样,这里也为感兴趣的读者讨论了有重要贡献的技术细节。机器之心重点摘要了第 3 节的攻击方法(12 种)和第 6 节的防御方法(15 种),详情请参考原文。 尽管深度学习在很多计算机视觉领域的任务上表现出色,Szegedy et al. [22] 第一次发现了深度神经网络在图像分类领域存在有意
机器之心
2018/05/10
1.7K0
【祖母论与还原论之争】为什么计算机人脸识别注定超越人类?
【新智元导读】 近日, Cell 的一项研究在人脸识别领域引起轰动,研究揭示了灵长类动物人脸识别的具体神经元活动过程——对脸部的识别是由大脑中 200 多个不同神经元共同编码完成的,这一发现推翻了此前人脸由特定细胞识别的假说。本文认为,这一发现,可能会破解长久以来计算机视觉领域祖母细胞论与还原论之争。为什么计算机人脸识别会超越人类,我们找到了5个优势。 作者吴春鹏:杜克大学电子与计算机工程系在读博士生,前富士通研发中心研究员,曾在美光、LG北美实验室等公司实习。研究方向是机器学习,计算机视觉和模式识别。 灵
新智元
2018/03/28
1.4K0
【祖母论与还原论之争】为什么计算机人脸识别注定超越人类?
什么是计算机视觉?什么是机器视觉?
每天,我们睁开眼都会看见这个多彩的世界,五彩斑斓的花朵、湛蓝的天空、还有亲人熟悉的笑容,对于每一个健康人一出生便享有上天赐予的美好特权,我们可以通过眼镜感知这个世界。然而,小伙伴们知道视觉对于机器人是多么难能可贵吗?我们平时所说的计算机视觉和机器视觉又有什么区别呢?今天小编就为大家讲一讲什么是计算机视觉、什么又是机器视觉。
用户4524627
2019/01/18
1.4K0
什么是计算机视觉?什么是机器视觉?
机器视觉技术原理解析及应用领域
01 简介 机器视觉是一项综合技术,包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术(图像增强和分析算法、图像卡、 I/O卡等)。 一个典型的机器视觉应用系统包括图像捕捉、光源系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块。 机器视觉系统最基本的特点就是提高生产的灵活性和自动化程度。在一些不适于人工作业的危险工作环境或者人工视觉难以满足要求的场合,常用机器视觉来替代人工视觉。 同时,在大批量重复性工业生产过程中,用机器视觉检
企鹅号小编
2018/02/28
3.8K0
机器视觉技术原理解析及应用领域
算法专家赵京雷:人人都应该懂一点计算机视觉
2016年是人工智能发展的第60周年,人工智能已经走了很长一段路,随着AlphaGo的辉煌战绩的出现,又再次引爆了人工智能在各个领域的发展。回顾计算机视觉发展之路,才能让我们踩着历史的积淀,顺应发展的大潮,去探索未来。
网络安全观
2021/02/25
3960
算法专家赵京雷:人人都应该懂一点计算机视觉
推荐阅读
相关推荐
机器视觉的阿基里斯之踵,秘密都在谷歌Brain论文中
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档