工业异常检测视觉大模型AnomalyGPT来了

AnomalyGPT介绍

异常GPT是第一种基于视觉大模型（LVLM）的工业异常检测方法，该方法可以在不需要手动指定阈值的情况下检测工业图像中的异常。现有的工业异常检测方法只能提供异常分数，需要手动设置阈值，而现有的视觉大模型无法检测图像中的异常。异常GPT不仅可以指示异常的存在和位置，还可以提供有关图像的信息。

模型结构

异常GPT利用预先训练的图像编码器（卷积神经网络）和大型语言模型（LLM），通过模拟的异常数据来对齐工业异常检测图像及其相应的文本描述。异常GPT使用了一种轻量级的、基于视觉文本特征匹配的图像解码器来获得定位结果，并设计通过提示学习的方式来为大语言模型(LLM)提供细粒度的语义，使用提示词嵌入实现对视觉大语言模型的迁移学习微调。异常GPT方法也可以在提供很少正常样本的情况下检测以前看不见的工业品异常缺陷。真的实现了零代码零训练的工业缺陷检测

测试效果

源、多格式一维与二维条形码图像处理库。它最初是从Java ZXing库移植而来的，但经过进一步开发，现在在运行时和检测性能方面有了许多改进。它可以读取和写入多种格式的条形码。包括工业DM码、RQ码、以及其他常见的各种一维条形码。最新的ZXING2.2版本，支持旋转、反色、镜像、二值、多尺度解码。源码地址：

对比测试

模型基于Halcon的工业异常缺陷数据集训练以后，在提示工程提示词辅助下 异常GPT展现出了惊人的零样本缺陷检测能力与缺陷定位能力，从此 算法工程师再也不用为找不到缺陷样本而烦恼了，用异常GPT 工业视觉检测又变得容易落地了吗？这个我不敢想下去了…….

零样本提示词直接检测缺陷

零样本提示词直接检测缺陷

从此让工业异常检测跟玩ChatGPT一样简单，做个提示工程师人人可以！