前沿论文 Arxiv'24 | AMI-Net: 用于异常检测与定位的自适应掩码修复网络

论文信息

题目：AMI-Net: Adaptive Mask Inpainting Network for Industrial Anomaly Detection and Localization

AMI-Net: 工业异常检测与定位的自适应掩码修复网络

作者：Wei Luo, Haiming Yao, Wenyong Yu, and Zhengyong Li

论文创新点

1. 自适应掩码生成器：作者提出了一种新颖的自适应掩码生成器，能够在测试阶段为每张图像动态生成自适应掩码，有效掩盖缺陷区域同时保留正常区域。这一创新解决了现有基于掩码方法在测试过程中无法完全掩盖缺陷区域的问题，显著提升了模型的检测性能。
2. 多尺度特征重建：与传统方法将非语义图像像素作为重建目标不同，作者利用预训练网络提取的多尺度语义特征作为重建目标。这一创新不仅提高了重建的准确性，还使得模型能够更好地处理工业缺陷的多尺度特性。
3. 动态掩码比例：在训练阶段，作者引入了动态掩码比例，而不是固定的掩码比例。这一策略能够有效处理不同大小的缺陷，增强了模型对工业缺陷的适应性。

摘要

无监督视觉异常检测对于提高工业生产质量和效率至关重要。在无监督方法中，重建方法因其简单性和有效性而广受欢迎。重建方法的关键在于异常区域的恢复，而现有方法在这方面尚未取得令人满意的效果。为了解决这一问题，作者从自适应掩码修复的角度提出了一种新颖的自适应掩码修复网络（AMI-Net）。与传统方法将非语义图像像素作为目标不同，作者的方法使用预训练网络提取的多尺度语义特征作为重建目标。鉴于工业缺陷的多尺度特性，作者引入了一种涉及随机位置和数量掩码的训练策略。此外，作者提出了一种创新的自适应掩码生成器，能够生成自适应掩码，有效掩盖异常区域同时保留正常区域。通过这种方式，模型可以利用可见的正常全局上下文信息来恢复被掩盖的异常区域，从而有效抑制缺陷的重建。在MVTec AD和BTAD工业数据集上的大量实验结果验证了所提方法的有效性。此外，AMI-Net表现出卓越的实时性能，在检测精度和速度之间取得了良好的平衡，非常适合工业应用。

AMI-Net将缺陷图像恢复为正常图像，并通过利用它们之间的差异来检测缺陷。该方法只需要收集大约几百个无缺陷样本进行训练，无需额外的缺陷样本。值得注意的是，AMI-Net不仅适用于地毯、皮革和瓷砖等简单纹理表面缺陷的检测，还适用于电缆、晶体管和螺丝等具有多样姿态的物体表面缺陷的检测。训练后的模型不仅表现出高检测精度，还展示了优越的实时性能，展示了在实际工业环境中的巨大潜力。

关键词

无监督异常检测，自适应掩码生成器，视觉Transformer，修复网络。

III AMI-Net方法

在本节中，作者对所提出的AMI-Net进行了全面的解释。首先，作者介绍了AMI-Net的总体框架。随后，作者详细介绍了多尺度预训练特征提取。接下来，作者介绍了采用随机位置和数量掩码策略的方法。随后，作者介绍了自适应掩码生成器。此外，作者提供了网络训练和推理过程的见解。最后，作者概述了网络中使用的具体参数配置。

A. AMI-Net的总体框架

AMI-Net的总体架构如图3所示。首先，使用预训练的卷积神经网络（CNN）提取多尺度特征，这些特征作为重建目标而不是完整的图像。在训练阶段，采用随机位置和数量掩码策略，使模型能够处理各种类型的缺陷。此外，在训练过程中，引入了聚类标记以聚合正常特征，从而为推理过程中的自适应掩码生成奠定了基础。

在测试阶段，使用自适应掩码生成器为多尺度特征生成自适应掩码。这些掩码掩盖缺陷相关特征同时保留正常特征。随后，使用修复网络生成无缺陷的重建特征。最后，通过利用输入特征和重建特征来推导缺陷定位图。

AMI-Net的全面架构协同利用这些组件，熟练地实现了异常检测和定位任务。自适应掩码的引入和聚类标记的集成协同增强了模型在处理广泛异常方面的适应性，从而显著提升了其整体性能。

B. 多尺度预训练特征提取

C. 随机位置和数量掩码策略

D. 自适应掩码生成器

如图2(c)所示，现有的基于掩码的方法在测试阶段也涉及随机掩码的应用，从而导致缺陷区域未被有效掩盖。为了解决这一问题，作者引入了一种新颖的自适应掩码生成器。接下来，作者从训练和测试的角度对自适应掩码生成器进行了全面的概述，深入探讨了具体细节。

III-D4 使用添加位置嵌入的标记进行聚类的原因

一些方法直接使用潜在特征进行聚类，但这可能会引发某些问题。例如，如图5所示，考虑MVTec AD数据集中的Transistor数据集，假设存在三个聚类。对于局部缺陷，它们可以很容易地被识别，因为局部缺陷通常是结构损坏，使其与正常特征明显不同。然而，对于全局缺陷，它们可能被分类为聚类边界的一部分，因为全局缺陷通常涉及物体的消失和秩序的混乱。因此，全局缺陷在特征上与正常模式相似，但位置不同。因此，聚类中包含位置信息被认为是必要的。图6展示了包含位置信息进行聚类的重要性。

IV 实验

声明

本文内容为论文学习收获分享，受限于知识能力，本文对原文的理解可能存在偏差，最终内容以原论文为准。本文信息旨在传播和学术交流，其内容由作者负责，不代表本号观点。文中作品文字、图片等如涉及内容、版权和其他问题，请及时与作者联系，作者将在第一时间回复并处理。