Loading [MathJax]/jax/output/CommonHTML/fonts/TeX/AMS-Regular.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >异常检测 PatchSVDD

异常检测 PatchSVDD

作者头像
为为为什么
发布于 2023-12-26 02:22:34
发布于 2023-12-26 02:22:34
4950
举报
文章被收录于专栏:又见苍岚又见苍岚

本文记录神经网络用于一分类异常检测的改进工作 —— PatchSVDD。

简介

改进 deep SVDD,提高异常检测能力与添加瑕疵定位能力,输出异常位置的热力图。

Patch 级中心

核心改动为将 Deep 的整图输入改为 Patch 输入,如果将图片划分为多个块,有的块是背景有的块是物体,那么将这些块映射到一个超球空间是不合理的,本文提出将空间相近的块给映射到一起。

但这样会引入一个新问题,那么空间相近的块就会倾向提取出相似的特征,本文利用自学习方法让编码器提出的特征具备位置可分特性。

本文提出的优化损失函数为:

$$ \mathcal{L}_{\mathrm{SVDD'}}=\sum_{i,i'}|f_\theta(\mathbf{p}_i)-f_\theta(\mathbf{p}_{i'})|_2 $$

pi 为轮训图片的一个 Patch,pipi 的空间临近点。

该 Loss 强行拉近位置相近 patch 特征的距离,可能会损坏 patch 的信息,文章假设提取出的特征能够分辨出位置信息,那么可以认为该体特征依然保留了有用的特征信息。

参考Unsupervised visual representation learning by context prediction提出的前置任务

自监督学习

确定好patch的大小后,随机在图片中选择一个patch,作为中心位置,画一个9宫格,那么对应的位置分别1-8.Cϕ 代表分类网络Classifier,P1 为中心点,P2 是8个位置的任意一点,分类器需要识别 P2 是哪一个位置。

自监督学习 Loss 定义:

$$ \mathcal{L}_{\mathrm{SSL}}= \mathrm{Cross- entropy}\left ( y, C_{\phi}\left ( f_{\theta}( \mathbf{p} _{1}) , f_{\theta}( \mathbf{p} _{2}) \right ) \right ) $$ 总的 Loss 定义为: $$ \mathcal{L}_{\mathrm{Patch~SVDD}}=\lambda\mathcal{L}_{\mathrm{SVDD}}+\mathcal{L}_{\mathrm{SSL}}. $$

该 SSL loss 会提升对象类的图像的异常检测性能,对于纹理类的图像性能收益不大。因为纹理中很难识别到位置信息,而且理论上纹理存在很多重复部分,提取的特征本来就具备相似性。

推断

训练好encoder 后,提取并保留所有训练数据中的 Patch 特征,给定一个查询图像 x ,其中的每个 Patch 通过编码器提取特征,每个Patch 特征在训练特征中距离最新的特征距离为该 Patch 的异常得分。

$$ \mathcal{A}_\theta^{\mathrm{patch}}(\mathbf{p})\doteq\min_{\mathbf{P}_{\mathrm{normal}}}\left|f_\theta(\mathbf{p})-f_\theta(\mathbf{p}_{\mathrm{normal}})\right|_2 $$

该推断过程在 MVtec 数据集中需要 0.5s。

参考资料

文章链接: https://cloud.tencent.com/developer/article/2374475

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2023-12-25,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
异常检测 DDAD
DDAD 是 2024 年以前 MVTec AD 数据集上性能最好的异常检测模型,本文解读相关论文并对源码进行解读
为为为什么
2024/01/11
2K1
异常检测 DDAD
异常检测 SimpleNet
$$ \phi^{l,i}\sim\phi^{l}(x_{i})\in\mathbb{R}^{H_{l}\times\dot{W_{l}}\times C_{l}}, $$
为为为什么
2023/12/26
7720
异常检测 SimpleNet
​万字综述 | 图神经网络在时间序列中的应用:预测、分类、填补和异常检测
时间序列是记录动态系统测量值的主要数据类型,由物理传感器和在线过程(虚拟传感器)大量生成。因此,时间序列分析对于揭示可用数据中隐含的信息财富至关重要。随着图神经网络(GNNs)的最新进展,基于GNN的时间序列分析方法大幅增加。这些方法可以明确地建模时序和变量间的关系,而传统的和其他基于深度神经网络的方法则难以做到。在这项调查中,我们对图神经网络在时间序列分析中的应用进行了全面回顾(GNN4TS),涵盖了四个基本维度:预测、分类、异常检测和填补。我们的目标是指导设计师和从业者了解、构建应用程序,并推进GNN4TS的研究。首先,我们提供了一个全面的面向任务的GNN4TS分类法。然后,我们介绍和讨论代表性研究成果,并介绍GNN4TS的主流应用。最后,我们全面讨论了潜在的未来研究方向。这项调查首次汇集了大量关于基于GNN的时间序列研究的知识,突出了图神经网络在时间序列分析中的基础、实际应用和机遇。
Houye
2024/04/11
7.4K0
​万字综述 | 图神经网络在时间序列中的应用:预测、分类、填补和异常检测
异常检测 EfficientAD
常用的异常检测特征提取网络都是 ImageNet 预训练的 backbone, 典型的是 WideResNet-101, 文章使用四次卷积的网络作为特征提取器
为为为什么
2024/01/09
2K1
异常检测 EfficientAD
异常检测 DeepSVDD
基于核的单分类异常检测方法难以处理高维样本特征而且计算效率低,因此论文中对此类方法进行优化提出了深度 Deep SVDD 模型。主要想法是利用神经网络训练来最小化计算样本特征空间的划分超球面,然后根据球心和测试样本点间的距离来判定样本点是否是异常。
为为为什么
2023/12/26
8360
异常检测 DeepSVDD
异常检测 SVDD 算法
支持向量数据描述 SVDD(Support Vector Data Description,SVDD)是一种单值分类算法,能够实现目标样本和非目标样本的区分,通常应用于异常检测、入侵检测等领域。
为为为什么
2022/10/31
3K0
异常检测 SVDD 算法
14种异常检测方法汇总(附代码)!
今天给大家分享一篇关于异常检测的文章,重点介绍了14种公开网络上一些常见的异常检测方法(附资料来源和代码)。
小白学视觉
2022/12/27
3.1K0
14种异常检测方法汇总(附代码)!
深度学习应用篇-元学习[14]:基于优化的元学习-MAML模型、LEO模型、Reptile模型
Model-Agnostic Meta-Learning (MAML): 与模型无关的元学习,可兼容于任何一种采用梯度下降算法的模型。 MAML 通过少量的数据寻找一个合适的初始值范围,从而改变梯度下降的方向, 找到对任务更加敏感的初始参数, 使得模型能够在有限的数据集上快速拟合,并获得一个不错的效果。 该方法可以用于回归、分类以及强化学习。
汀丶人工智能
2023/10/11
1.9K0
深度学习应用篇-元学习[14]:基于优化的元学习-MAML模型、LEO模型、Reptile模型
异常检测 DiffusionAD
输入图像 x_0,向其中逐步加入 t 次高斯噪声得到 x_t,该加噪的图像会逐渐失去原始图像的信息,变为一个随机的高斯噪声。
为为为什么
2023/12/26
1.9K0
异常检测 DiffusionAD
ICCV 2023 | COOL-CHIC: 基于坐标的低复杂度分层图像编码器
为了使得方法的介绍更清晰,本节将简要分析隐式神经编码与以往端到端编码在训练过程以及传输码流部分的区别。
用户1324186
2023/12/28
7770
ICCV 2023 | COOL-CHIC: 基于坐标的低复杂度分层图像编码器
异常检测最新研究总结(一)
点击上方“AIWalker”,选择加“星标” 精品干货,瞬时送达
AIWalker
2020/12/03
1.6K0
异常检测最新研究总结(一)
RealNet:从数据生成到模型训练的最新工业异常检测 | CVPR 2024
论文: RealNet: A Feature Selection Network with Realistic Synthetic Anomaly for Anomaly Detection
VincentLee
2024/08/19
6000
RealNet:从数据生成到模型训练的最新工业异常检测 | CVPR 2024
2D 扩散模型 + Nerf,实现文本生成 3D 模型
在数十亿图像-文本对上训练的扩散模型,在文字生成图像的任务上大获成功。但是,如果想要将这种方法应用于 3D 生成(synthesis),需要对大规模的 3D 数据集进行标注并且在其上面训练,除此之外,还需对 3D 数据去噪的有效架构,但目前这两者都不存在。在这项工作中,作者通过使用预训练的 2D 文本-图像的扩散模型,实现文本到 3D 合成。他们引入了基于概率密度蒸馏的损失函数,这也允许了2D扩散模型作为先验,用以优化参数图像生成器。在类似 DeepDream 的过程中使用这种损失函数,作者通过梯度下降优化随机初始化的 3D 模型(NeRF),使其从随机角度的 2D 渲染均能让损失函数值较低。
用户1324186
2022/11/07
2.8K0
2D 扩散模型 + Nerf,实现文本生成 3D 模型
深度学习应用篇-元学习[15]:基于度量的元学习:SNAIL、RN、PN、MN
元学习可以被定义为一种序列到序列的问题, 在现存的方法中,元学习器的瓶颈是如何去吸收同化利用过去的经验。 注意力机制可以允许在历史中精准摘取某段具体的信息。
汀丶人工智能
2023/10/11
8980
深度学习应用篇-元学习[15]:基于度量的元学习:SNAIL、RN、PN、MN
SIGIR'21 因果推断+序列推荐:反事实数据促进鲁棒用户表征生成
本文主要针对的是如何从用户历史行为序列中学习到更鲁棒更有效的表征。用户历史行为序列中是存在噪声的,并且序列本身是稀疏的,因此本文针对现存的问题,提出CauseRec方法通过对反事实数据分布进行建模,更多地信任不可或缺的行为从而提高鲁棒性。给定行为序列,CauseRec识别可有可无的概念和不可或缺的概念,CauseRec 通过替换原始序列中的可有可无和不可或缺的概念,有条件地从反事实数据分布中采样用户概念序列。
秋枫学习笔记
2022/09/19
9220
深度学习应用篇-元学习[16]:基于模型的元学习-Learning to Learn优化策略、Meta-Learner LSTM
Learning to Learn by Gradient Descent by Gradient Descent 提出了一种全新的优化策略, 用 LSTM 替代传统优化方法学习一个针对特定任务的优化器。
汀丶人工智能
2023/10/11
1.1K0
深度学习应用篇-元学习[16]:基于模型的元学习-Learning to Learn优化策略、Meta-Learner LSTM
《异常检测——从经典算法到深度学习》6 基于重构概率的 VAE 异常检测
论文总体结构为: Abstract: 我们提出了一种基于重构概率的异常检测方法 可变自动编码器。
全栈程序员站长
2022/11/17
1.7K0
《异常检测——从经典算法到深度学习》6 基于重构概率的 VAE 异常检测
浙江理工 & 谷歌开源 CFMW | 挑战恶劣天气,Mamba 引领目标检测新风向!
在开放和动态的环境中,目标检测面临如雨、雾和雪等具有挑战性的天气条件。基于深度学习的目标检测方法的快速发展显著提高了识别和分类物体的能力。得益于先进的特征提取和融合策略,跨模态目标检测方法已达到高精度,例如CFT(杨等人,2017年)、GAFF(杨等人,2017年)和CFR
集智书童公众号
2024/05/10
1.8K0
浙江理工 &  谷歌开源 CFMW | 挑战恶劣天气,Mamba 引领目标检测新风向!
小目标检测新方法SCTransNet | 空间通道交叉Transformer & 互补前馈达成完美语义信息传递
SCTransNet有效地编码了目标与背景之间的语义差异,从而提升了其内部表征,以准确检测小红外目标。 在三个公开数据集NUDT-SIRST、NUAA-SIRST和IRSTD-1k上的大量实验表明,所提出的SCTransNet优于现有的IRSTD方法。 代码:https://github.com/xdFai
集智书童公众号
2024/02/21
2.3K0
小目标检测新方法SCTransNet | 空间通道交叉Transformer & 互补前馈达成完美语义信息传递
VOS: Learning What You Don't Know by Virtual Outlier Synthesis
标题:VOS: Learning What You Don't Know by Virtual Outlier Synthesis
BBuf
2022/09/28
1.3K0
VOS: Learning What You Don't Know by Virtual Outlier Synthesis
推荐阅读
相关推荐
异常检测 DDAD
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档