Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >暴力的黑盒对抗样本攻击 -- ZOO

暴力的黑盒对抗样本攻击 -- ZOO

作者头像
Mezereon
发布于 2021-04-09 07:32:17
发布于 2021-04-09 07:32:17
1.7K0
举报
文章被收录于专栏:MyBlogMyBlog

介绍

这次来介绍一篇CCS Workshop 2017的工作,"ZOO: Zeroth Order Optimization Based Black-box Attacks to Deep Neural Networks without Training Substitute Models"

对抗攻击

这是一个黑盒的对抗样本攻击,如上图所示,攻击者只能进行输入,并且获得置信度的输出,不能对模型进行反向传播。

有关于白盒的对抗样本攻击,可以查看我这篇文章

不能反向传播,会导致对抗样本难以生成。那么怎么进行攻击呢,有一些工作的思路是训练一个替代模型(substitute model)来进行攻击。

替代模型是指利用类似分布的数据集,或者利用多次输入输出的结果,训练一个新的模型,并在新的模型上进行反向传播,进而得到一个对抗样本。

强行计算梯度

正如之前所说,没办法进行反向传播,梯度都没办法直接计算。

那么该工作便强行计算了一个伪梯度,我们来看看细节

首先我们先对输入

进行一个扰动

其中

是一个常量值,

是一个标准单位向量,你可以理解为某一位为1其余都是0的向量。

我们记模型的输出为

,那么利用对称差分,可以得到一个估计梯度值

同时,我们可以估计出二阶的梯度值

有了这两个梯度估计值,就可以直接对

进行梯度下降优化了。比如牛顿法,那么则是

其中

是学习率

同理可以得到Adam的过程,这里不多赘述。

algorithm-Newton

如上图所示,算法会迭代数次,在每一次迭代的时候,随机选取一个像素位置,添加扰动并计算出梯度,多次迭代之后得到结果。

结果分析

cifar and mnist

作者在手写数据集MNIST和CIFAR10上进行测试,和白盒攻击C&W,以及替代模型方法进行了对比。

从时间上看,黑盒攻击要更加花费时间,成功率也会有所下降

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
ODS:输出多样化采样,有效增强白盒和黑盒攻击的性能 | NeurIPS 2020
本文提出了一种新的采样策略——输出多样化采样,替代对抗攻击方法中常用的随机采样,使得目标模型的输出尽可能多样化,以此提高白盒攻击和黑盒攻击的有效性。实验表明,该种采样策略可以显著提升对抗攻击方法的性能。
红色石头
2022/01/20
7140
ODS:输出多样化采样,有效增强白盒和黑盒攻击的性能 | NeurIPS 2020
ICLR 2024 | 首个零阶优化深度学习框架,MSU联合LLNL提出DeepZero
今天介绍一篇密歇根州立大学 (Michigan State University) 和劳伦斯・利弗莫尔国家实验室(Lawrence Livermore National Laboratory)的一篇关于零阶优化深度学习框架的文章 “DeepZero: Scaling up Zeroth-Order Optimization for Deep Model Training”,本文被 ICLR 2024 接收,代码已开源。
机器之心
2024/02/26
5150
ICLR 2024 | 首个零阶优化深度学习框架,MSU联合LLNL提出DeepZero
AAAI 2022 | 无注意力+PatchOut,复旦大学提出面向视觉transformer的迁移攻击方法
与卷积神经网络(CNN)相比,Vision transformers(ViTs)在一系列计算机视觉任务中表现出惊人的性能。然而,ViTs 容易受到来自对抗样本的攻击。在人的视角中,对抗样本与干净样本几乎没有区别,但其包含可以导致错误预测的对抗噪声。此外,对抗样本的迁移性允许在可完全访问的模型(白盒模型)上生成对抗样本来攻击结构等信息未知的模型(黑盒模型)。
机器之心
2022/01/04
1.1K0
AAAI 2022 | 无注意力+PatchOut,复旦大学提出面向视觉transformer的迁移攻击方法
浅谈深度学习中的对抗样本及其生成方法
深度学习模型被广泛应用到各种领域,像是图像分类,自然语言处理,自动驾驶等。以ResNet,VGG为代表的一系列深度网络在这些领域上都取得了不错的效果,甚至超过人类的水平。然而,Szegedy等人在2014年的工作(Intriguing properties of neural networks)揭示了深度网络的脆弱性(vulnerability),即在输入上做一些微小的扰动(perturbation)就可以令一个训练好的模型输出错误的结果,以下面这张经典的熊猫图为例:
Mezereon
2020/12/29
2K0
可学习的黑盒对抗攻击:SOTA的攻击成功率和查询效率
本文介绍NeurIPS 2020接收论文《Learning Black-Box Attackers with Transferable Priors and Query Feedback》。
AI科技评论
2020/12/18
3.2K0
可学习的黑盒对抗攻击:SOTA的攻击成功率和查询效率
语义上的对抗样本 -- SemanticAdv
这次介绍的是ECCV2020的一篇文章,SemanticAdv: Generating Adversarial Examples via Attribute-conditioned Image Editing
Mezereon
2021/04/19
7640
语义上的对抗样本 -- SemanticAdv
QEBA:基于类边界查询访问的黑盒攻击
今日分享一篇"老"论文,收录于CVPR2020『QEBA: Query-Efficient Boundary-Based Blackbox Attack』,是关于边界查询的黑盒攻击的研究。
CV君
2021/09/27
1.6K0
QEBA:基于类边界查询访问的黑盒攻击
深度 | 脆弱的神经网络:UC Berkeley详解对抗样本生成机制
选自ML Blog of Berkeley 作者:Daniel Geng、Rishi Veerapaneni 机器之心编译 参与:陈韵竹、刘晓坤、李泽南 用于「欺骗」神经网络的对抗样本(adversarial example)是近期计算机视觉,以及机器学习领域的热门研究方向。只有了解对抗样本,我们才能找到构建稳固机器学习算法的思路。本文中,UC Berkeley 的研究者们展示了两种对抗样本的制作方法,并对其背后的原理进行了解读。 通过神经网络进行暗杀——听起来很疯狂吧?也许有一天,这真的可能上演,不过方式
机器之心
2018/05/10
1.3K0
PyTorch 1.0 中文官方教程:对抗性示例生成
如果你正在阅读这篇文章,希望你能理解一些机器学习模型是多么有效。现在的研究正在不断推动ML模型变得更快、更准确和更高效。然而,在设计和训练模型中经常会忽视的是安全性和健壮性方面,特别是在面对欺骗模型的对手时。
ApacheCN_飞龙
2022/05/07
3600
FGSM对抗攻击算法实现
掌握利用快速梯度符号攻击(FGSM)对上一个实验的深度学习卷积神经网络CNN手写数字识别模型进行对抗攻击,愚弄MNIST分类器。
不去幼儿园
2024/12/03
5060
FGSM对抗攻击算法实现
黑盒攻击很难?元学习提高"黑盒对抗攻击"成功率
本文分享论文『Boosting Black-Box Adversarial Attacks with Meta Learning』,元学习提高黑盒对抗攻击。
CV君
2022/04/18
1.5K0
黑盒攻击很难?元学习提高"黑盒对抗攻击"成功率
清华朱军团队包揽三项冠军,NIPS 2017对抗样本攻防竞赛总结
AI 科技评论按:自 Ian Goodfellow 等研究者发现了可以让图像分类器给出异常结果的「对抗性样本」(adversarial sample)以来,关于对抗性样本的研究越来越多。NIPS 2017 上 Ian Goodfellow 也牵头组织了 Adversarial Attacks and Defences(对抗攻击防御)竞赛,供研究人员、开发人员们在实际的攻防比拼中加深对对抗性样本现象和相关技术手段的理解。
AI科技评论
2018/07/27
6440
清华朱军团队包揽三项冠军,NIPS 2017对抗样本攻防竞赛总结
德国图宾根大学发布可扩展对抗黑盒攻击,仅通过观察决策即可愚弄深度神经网络
原文来源:arXiv 作者:Wieland Brendel、Jonas Rauber、Matthias Bethge 编译:嗯~阿童木呀、哆啦A亮 不知道大家有没有注意到,许多机器学习算法很容易受到几乎不可察觉的输入干扰的影响。到目前为止,我们还不清楚这种对抗干扰将为现实世界中机器学习应用的安全性带来多大的风险,因为用于生成这种干扰的大多数方法要么依赖于详细的模型信息(基于梯度的攻击)或者置信度分数,例如类概率(基于分数的攻击),而这两种在大多数现实世界中都是不可用的。在许多这样的情况下,目前我们需要后
企鹅号小编
2018/02/07
7560
德国图宾根大学发布可扩展对抗黑盒攻击,仅通过观察决策即可愚弄深度神经网络
腾讯AI Lab参与提出EAD:基于弹性网络正则化的深度神经网络对抗样本攻击
选自arXiv 作者:Pin-Yu Chen 、Yash Sharma、Huan Zhang、Jinfeng Yi、Cho-Jui Hsieh 机器之心编译 腾讯 AI Lab 在 2018 年 AAAI 中入选论文 11 篇,其中一篇与 IBM Research、The Cooper Union 和加州大学戴维斯分校合作的论文入选口头报告(Oral)。这篇论文提出一种基于弹性网络正则化的攻击算法,该算法将对抗样本攻击 DNN 的过程形式化为弹性网络正则化的优化问题。此外,对基于 L1 失真攻击的评估为对抗
企鹅号小编
2018/02/02
7430
腾讯AI Lab参与提出EAD:基于弹性网络正则化的深度神经网络对抗样本攻击
基于黑盒语音识别系统的目标对抗样本
编译 | 姗姗 出品 | 人工智能头条(公众号ID:AI_Thinker) 【人工智能头条按】谷歌大脑最近研究表明,任何机器学习分类器都可能被欺骗,给出不正确的预测。在自动语音识别(ASR)系统中,深度循环网络已经取得了一定的成功,但是许多人已经证明,小的对抗干扰就可以欺骗深层神经网络。而目前关于欺骗 ASR 系统的工作主要集中在白盒攻击上,Alzantot 等人证明利用遗传算法的黑盒攻击是可行的。 而在接下来为大家介绍的这篇加州大学伯克利分校机器学习团队的论文中,引入了一个新的黑盒攻击领域,特别是在深层
用户1737318
2018/06/05
1.1K0
CVPR 2022 Oral | LAS-AT: 一种基于可学习攻击策略的对抗训练新范式
近日,由中科院信工所、香港中文大学(深圳)和腾讯AILab共同提出的一种可学习的对抗训练框架LAS-AT,被CVPR 2022(Oral)顺利接收。通过引入“可学习的攻击策略”,LAS-AT可以学习自动产生攻击策略以提高模型的鲁棒性。该框架由一个使用对抗样本进行训练以提高鲁棒性的目标网络和一个产生攻击策略以控制对抗样本生成的策略网络组成。在不同数据集上的实验结果展现了LAS-AT的优越性。
AI科技评论
2023/01/03
1.5K0
CVPR 2022 Oral | LAS-AT: 一种基于可学习攻击策略的对抗训练新范式
AI算法对抗攻击和防御技术综述「AI核心算法」
随着计算机产业发展带来的计算性能与处理能力的大幅提高,人工智能在音视频识别、自然语言处理和博弈论等领域得到了广泛应用。在此背景下,确保人工智能的核心——深度学习算法具有可靠的安全性和鲁棒性至关重要。
用户7623498
2020/09/14
3.4K0
AI算法对抗攻击和防御技术综述「AI核心算法」
【每周CV论文推荐】基于GAN的对抗攻击,适合阅读那些文章入门?
欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。
用户1508658
2022/11/07
1.1K0
【每周CV论文推荐】基于GAN的对抗攻击,适合阅读那些文章入门?
人工智能的矛与盾--对抗学习
最近几年安全界关于对抗学习的研究如火如荼,对抗样本的生成技术发展迅速。使用不同的对抗攻击方法可以生成对抗样本,不同攻击方法的攻击效果也有所不同。 另外关于对抗样本攻击的防御方法,已经有不少学者提出了一些解决方案,不过防御效果上还有提升空间。下图是关于对抗学习经典的应用场景,攻击者利用对抗样本攻击方法对关于熊猫的图片进行微小的修改从而使深度学习图像识别模型失效,误以为图片中的是长臂猿。这种攻击手段已经在本文之前已经进行过讨论。
绿盟科技研究通讯
2020/01/02
1.7K0
独家解读 | Fisher信息度量下的对抗攻击
论文题目:The Adversarial Attack and Detection under the Fisher Information Metric(AAAI2019)
马上科普尚尚
2020/06/03
9760
推荐阅读
相关推荐
ODS:输出多样化采样,有效增强白盒和黑盒攻击的性能 | NeurIPS 2020
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档