腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

机器学习对抗性攻击

攻击模型和其他攻击不同，对抗性攻击主要发生在构造对抗性数据的时候，之后该对抗性数据就如正常数据一样输入机器学习模型并得到欺骗的识别结果。首先编者先简单介绍一下对抗性图像攻击。对抗性图像攻击是攻击者构造一张对抗性图像，使人眼和图像识别机器识别的类型不同。图4 对抗性图像黑盒攻击流程这一攻击基于对抗性图像的欺骗传递性，即针对机器学习模型A构造的对抗性图像，也会有很大的比例能欺骗机器学习模型B。 对抗性语音攻击则是攻击者构造一段语音，使人耳和语音识别机器识别的类型不同。语音攻击和图像攻击最大的不同在于，它希望保证对抗性语音和原语音差距越远越好．而不是保持对抗性语音和原语音的相似性。表5 对抗性语音白盒攻击效果[3] 对抗性数据的防护虽然对抗性数据攻击的发现很巧妙，但是在当前图像语音识别应用的场合上．有效的防御并不困难。

2018-06-06

2.1K0

标签:

对抗性攻击的原理简介

和其他攻击不同，对抗性攻击主要发生在构造对抗性数据的时候，该对抗性数据就如正常数据一样输入机器学习模型并得到欺骗的识别结果。什么是对抗样本？为什么会发生对抗性攻击？在我们指出它们发生的原因之前，我们再次强调无论是逻辑回归、softmax 回归、SVM、决策树、最近邻还是深度学习模型，没有任何 ML 算法可以免受对抗性攻击。 对抗性攻击是我们不信任自治系统（autonomous system）的原因。我们需要能够处理噪音并能在不同环境中保持稳定的系统。 对抗性鲁棒性工具集（ART）是用于机器学习安全性的Python库。此外对抗性攻击不会因为传统的正则化技术而消失。 对抗性训练的神经网络在任何机器学习模型的对抗性示例上都具有最佳的经验成功率。对抗训练提供正则化和半监督学习进攻很简单防守很困难编辑：王菁校对：林亦霖

2022-03-04

7090

标签:

对抗性攻击的原理简介

和其他攻击不同，对抗性攻击主要发生在构造对抗性数据的时候，该对抗性数据就如正常数据一样输入机器学习模型并得到欺骗的识别结果。什么是对抗样本？右边的熊猫在加入对抗性噪声后看起来仍然像熊猫，但现在它会被原来的分类器分类到一个完全不同的类中所有图片都可以通过这样一种方式受到干扰，以至于所有的图片都被预测为一架飞机为什么会发生对抗性攻击？ 对抗性攻击是我们不信任自治系统（autonomous system）的原因。我们需要能够处理噪音并能在不同环境中保持稳定的系统。 对抗性鲁棒性工具集（ART）是用于机器学习安全性的Python库。此外对抗性攻击不会因为传统的正则化技术而消失。 对抗性训练的神经网络在任何机器学习模型的对抗性示例上都具有最佳的经验成功率。对抗训练提供正则化和半监督学习进攻很简单防守很困难

2021-12-28

1.1K0

标签:

Azure 内容审查器之文本审查

内容审查器 Azure 内容审查器也是一项认知服务。它支持对文本、图形、视频进行内容审核。可以过滤出某些不健康的内容，关键词。使你的网站内容符合当地的法律法规，提供更好的用户体验。 Azure 内容审查器支持对绝大多数语言的审核，当然也包括中文。它已经内置了中文常用关键词列表，当然也可以自定义关键词列表。下面让我们看看如何创建内容审查器在portal管理平台找到内容审查器，点击“创建”。 ? 区域选择离你最近的。定价层选择免费F0。内容审查器的免费策略为：5000事务/月，1次/s 。 ? 创建完资源后，点击资源左边菜单：密码与终结点。复制好密钥跟终结点信息后面会用到。 true, listId,//自定义关键词listId true); 总结 Azure 内容审查器是除了文本审核还包括图片视频内容的审核

2020-10-10

1.3K0

标签:

DevOps 解决方案

深入浅出对抗性机器学习（AML）

针对adversarial machine learning这个问题而言，AI出身的小伙伴们可能认为，这样的工作应该只能看做模型的鲁棒性或泛化能力不够强，但是从安全角度考虑，其实所谓的“安全”概念，是从模型的设计者角度出发，考虑到模型的行为超出意料之外，让模型设计者手足无措，因此我们认为是可能存在“潜在威胁”，因而将这类行为归类为安全问题。特此解释。

SIGAI学习与实践平台

2018-12-26

1.9K0

标签:

基于编码注入的对抗性NLP攻击

对抗性NLP早期的对抗性机器学习研究侧重于图像分类，后来开始在 NLP 系统中搜索对抗性样本，目标是序列模型。由于自然语言的离散性，对抗样本本质上更难制作。遗传算法已被用于发现对抗情绪分析系统输入的对抗性扰动，在黑盒设置中提出了一种可行的攻击，而无需访问梯度。强化学习可用于有效地为翻译模型生成对抗性样本。与本文中描述的技术不同，所有现有的 NLP 对抗性样本技术都会在输入中产生人类可感知的视觉伪影。在对抗性设置中，Bidi 覆盖字符允许修改字符的编码顺序而不影响字符渲染，从而使它们成为一种难以察觉的扰动形式。 对抗性含义可能因一个应用程序而异，从一个模型到另一个模型，但所有基于文本的模型都基于编码文本，除非编码受到适当约束，否则所有文本都受对抗性编码的影响。

2023-07-08

1.5K0

标签:

自然语言处理

自动化机器学习

安全攻防对抗服务

Azure内容审查器之羞羞图审查

上一篇 Azure 内容审查器之文本审查我们已经介绍了如果使用Azure进行文字内容的审核。对于社区内容，上传的图片是否含有羞羞内容也是需要过虑的。但是最为一般开发者自己很难实现这种级别的智能识别。但是借助Azure的内容审查器可以分分钟实现它。创建内容审查器在使用审查器之前需要在Azure上创建它。上次我们已经创建过了，这次就不在赘述了。请直接查看上一篇： Azure 内容审查器之文本审查编写代码创建一个控制台项目然后使用nuget安装一个库： ?

2020-10-10

1.3K0

标签:

DevOps 解决方案

生成型对抗性网络介绍与实现原理

下图给出了鉴别者与识别者组成的对抗性生成型网络的结构图： ? def train_generator(self, batch_size): #训练生成者网络 ''' 生成者网络训练的目的是让它生成的图像尽可能通过鉴别者网络的审查由于对抗性生成型网络的训练过程较为复杂，有必要单独着重讲解，因此本节只给出网络的实现代码，下一节我们看看如何有效的训练两个网络。

2020-02-26

6470

标签:

PromptBench:大型语言模型的对抗性基准测试

PromptBench是微软研究人员设计的一个用于测量大型语言模型(llm)对对抗性提示鲁棒性的基准测试。研究及其方法论 PromptBench采用多种对抗性文本攻击，研究人员生成了4000多个对抗性提示，然后通过8个任务和13个数据集对其进行评估。研究结果及影响这项研究的结果表明，当代LLM很容易受到对抗性提示的影响。这个漏洞是一个需要解决的关键问题，以确保llm在实际应用程序中的可靠性和健壮性。作为数据科学家，我们必须意识到这些漏洞，并努力开发能够抵御此类对抗性攻击的模型。论文还提供了快速减轻这些漏洞的建议。这些建议对于任何使用大模型的人来说都是非常宝贵的，并且可以指导开发更健壮的模型。

2023-08-30

6730

标签:

机器学习中对抗性攻击的介绍和示例

下图总结了对抗性攻击的过程：考虑上面的猫的图像，我们添加了一个小的扰动，经过计算使图像被高置信度地识别为柠檬。更具体地说，我们将获取图像并计算相对于所需标签的损失（在本例中为“柠檬”）。最后总结如你所见，对抗性攻击非常简单和有趣。通过这个例子，我们在使用公开发布的模型时一定要小心，这可能有潜在的危险并可能质疑人工智能的可靠性。因为这是最近的一个主要研究领域。强化学习代理也可以被对抗性的例子操纵。如果你对对抗性攻击感兴趣，请查看OpenAI的这篇博客，有更详细的介绍：https://openai.com/blog/adversarial-example-research/

2021-09-15

1.3K0

标签: