AIGC究竟在向善还是向恶而行？

2024好事发生

这里推荐一篇实用的文章：深入探索SQL优化：利用慢查询日志和explain提升数据库效率

数据库的性能取决于数据库级别的多个因素，例如表、查询和配置设置。这些软件构造会导致硬件级别的 CPU 和 I/O 操作，您必须将其最小化并尽可能高效。典型用户的目标是从其现有软件和硬件配置中获得最佳数据库性能。高级用户寻找机会改进Mysql软件本身，或开发自己的存储引擎和硬件设备来扩展MySQL生态系统。当出现SQL比较慢时，需要进行如下步骤进行优化： （1）找到SQL语句。通过show processlist和开启慢查询日志。 （2）分析SQL语句。

下面开始今天的主题：

随着数字图像处理技术的发展和以ChatGPT、Midjourney、Stable Diffusion等为代表的AIGC产品的爆火，各种数字图像编辑处理软件和生成式模型正在变得越来越强大，普通用户已经可以方便地对图像进行绘制、编辑和篡改，这些技术和软件在带来便利的同时，也使得用户更容易伪造或篡改数字图像而不留痕迹，人工智能生成内容以假乱真、数据泄露以及侵权的风险被进一步放大。

对图像的篡改和伪造简单易行且难以通过肉眼鉴别，目前已有部分别有用心的人对数字图像进行恶意伪造和篡改，并用于行政报表合同作假，转账记录、交易记录、聊天记录、身份伪造、医学、虚假新闻等扰乱经济秩序社会秩序等领域。 图像内容的安全与可信性已经成为了公众关注的焦点，但图像领域的“可信AI”才刚刚起步。

一、常见图像篡改技术

图像篡改技术可以用于欺骗、误导或者破坏图像的真实性和可信度，这些技术带来的盗版问题和信息安全风险也往往容易成为社会问题，要获得篡改数字图像的证据，首先要了解数字图像的篡改方法：

1. 合成：合成方法选择一幅图像或多幅图像的一部分拼接到另一幅图像中，以遮挡目标图像中的信息或添加额外的信息，是图像伪造中最常用的伪造技术之一；
2. 修图：主要是指利用图像编辑工具对图像的内容进行美化、拉伸、打磨，从而隐藏图像中的一些重要细节或修复一些受损的图像，如使用Photoshop、美图等图像编辑工具对图像进行修改。
3. 生成式模型：生成式模型以Midjourney和Stable Diffusion为代表，通过使用了深度学习技术学习大量的图像数据这种模型可以生成非常逼真、高质量的图像，人眼很难分辨出是真实的还是生成的。
4. 图像转译：主要是将一张图像作为需要更改的图像，另一张图像作为需要更改的图像，逐渐将一种图像变成另一种图像。
5. 图像增强：图像增强是通过一定的手段向原图像中添加一些信息或变换数据，有选择地突出图像中感兴趣的特征或抑制图像中一些不需要的特征从而有目的地强调图像的整体或局部特征。
6. 手工重绘：人工通过绘图软件(如Photoshop、CAD等)或其他绘图工具进行绘制。

二、传统篡改图像检测方法

2.1、基于光源和噪声的拼接图像篡改检测方法

基于光源颜色和噪声的图像拼接篡改检测方法根据篡改图像光源颜色和噪声特性的不一致，通过对二者的混合特征提取，实现对拼接区域的正确检测与定位。

首先其将待检测的彩色图像利用简单线性迭代聚类SLIC(Simple Linear Iterative Clustering)算法分割成不重叠的超像素块；其次将每个图像块转换到YCbCr颜色空间提取光源颜色特征，同时将图像块表示为四元数并利用PCA提取噪声特征；然后将这2种特征组合作为最终特征向量，采用K-means聚类将特征向量分为2类，并将所含特征数较少的一类标记为篡改区域 ,实现彩色图像拼接篡改检测。

绝大部分拼接篡改图像中，篡改区域所占图像比例小于原始区域所占图像的比例，故可以利用K-means算法将混合特征SF划分为2个簇，统计2个簇中所含超像素块的数量，并将数量较少的簇标记为可疑区域。在超像素分割结果中存在块区域较小的问题，可能导致本应属于拼接区域的超像素未被标记，或者原始区域的超像素被误标记为篡改区域。针对此问题，为进一步提高检测精确率，将经过聚类的初始标记结果在超像素块级做后处理操作，包括孤立块过滤和空洞填充。

• 孤立块过滤的主要步骤是：遍历所有超像素块k(k=1,2,…,K),如果与其邻接的超像素块都被标记为原始区域，则将k也标记为原始区域。
• 空洞填充的主要步骤是：遍历所有超像素块k,如果超像素块k的所有邻接块都被标记为篡改区域，则将k也标记为篡改区域。初始分类结果如图a所示，经过孤立块过滤和空洞填充处理后的分类结果如图b所示。其中，灰色表示原始区域，白色表示篡改区域。

2.2、基于马尔科夫特征的检测方法

马尔科夫特征反映了每个像素和其临近像素之间的关系，篡改图像中不自然的边界和模糊、插值等后处理手段会破坏自然图像邻接像素的分布特性。马尔科夫特征提取的步骤为:首先在待检测图像的横、纵方向以及主、副对角线方向上求取残差,然后对残差图进行截断以减小特征维度。最后计算邻接像素残差截断值的转移概率。该转移概率就是马尔科夫特征。

基于马尔科夫特征的篡改图像检测方法是一种常用的图像篡改检测方法，该方法基于马尔科夫随机场模型，通过对图像的像素进行分析，提取出图像的局部特征，然后利用这些特征来检测图像是否被篡改。

首先将图像分成若干个小块，然后对每个小块进行特征提取。这些特征包括灰度直方图、梯度直方图、颜色直方图等。接着，将这些特征组合成一个特征向量，用于表示该小块的特征。然后，利用马尔科夫随机场模型对这些特征进行建模描述图像中像素之间的相互关系，从而检测出图像中的篡改区域。但其极易受到图像噪声、压缩等因素的影响，容易产生误检测和漏检测，且对于复杂的篡改操作，如图像合成、图像融合等，检测效果较差。

三、基于深度学习的图像篡改检测方法

3.1、基于Fisher编码和SVM模型的方法

基于Fisher编码和SVM模型的篡改图像检测方法是一种常用的图像篡改检测方法，其提取真实图像和伪造图像数据集对应的颜色通道特征，分别进行Fisher编码，Fisher编码是一种基于局部二进制模式（LBP）的特征提取方法，它可以提取图像的纹理特征，模型利用编码后的颜色通道特征训练SVM模型。该方法的可以有效地检测出图像篡改，具有较高的准确率和鲁棒性。但是需要对图像进行特征提取和特征选择，需要较高的计算复杂度和时间成本。其步骤如下：

• 对于真实数据集，选取5类图像，每类图像经Fisher编码后提取100张图像中的a、b颜色通道特征；
• 对于假数据集，选取与真实图像相同的5类图像，每类图像经Fisher编码后提取100张图像中的a、b颜色通道特征；
• 之后随机选择5个类别作为真实和虚假数据集的训练和测试数据集，从分类图像中提取a和b颜色通道特征；
• 对提取的颜色通道特征进行Fisher编码。使用Fisher编码特征进行SVM建模；
• 使用筛选后的特征训练SVM模型，将篡改图像和非篡改图像分别作为正负样本进行训练，使用训练好的SVM模型对待检测图像进行分类，判断其是否为篡改图像。
• 使用测试数据集的图像来测试拟合的SVM模型的准确性。

3.2、 基于局部异常特征检测的Mantra-Net方法

ManTra-Net方法由两个子网络组成，即创建统一特征表示的图像处理-跟踪特征提取器和直接定位伪造区域的局部异常检测网络(LADN)，从局部特征与其引用到伪造标签之间的差异中学习决策函数映射。从技术上来说，ManTraNet 由两个子网络组成，如下所示：

1. 图像处理轨迹特征提取器：用于图像处理分类任务的特征提取网络，对不同的处理类型敏感，并将补丁中的图像处理编码为固定维度的特征向量。
2. 局部异常检测网络：异常检测网络将局部特征与局部区域平均的主导特征进行比较，其激活取决于局部特征偏离参考特征的程度，而不是局部特征的绝对值。

ManTraNet 是一种端到端图像伪造检测和定位解决方案，通过识别局部异常特征来检测伪造像素，因此不限于特定的伪造或篡改类型，具有简单、快速和高鲁棒性，但是其局限性在于不能准确检测多篡改对象图像。

3.2、基于HRNet的编码器——解码器结构的图像真实性鉴别模型

在本届世界人工智能大会（WAIC 2023）上，合合信息技术人员提出了一种基于HRNet的编码器-解码器结构的图像真实性鉴别模型。

这种网络结构在图像真实性鉴别中具有很大的优势，它能够更好地捕捉到图像中的细节信息。在基于HRNet的编码器-解码器结构，编码器将输入图像转换为高维特征向量，提取深度特征信息，信息包括但不限于噪声、光线、频谱等，解码器将这些特征向量转换为掩码分析图， 从而捕捉到细粒度的视觉差异，达到高精度鉴别效果。

四、图像篡改检测方法初体验

以下是一个使用PyTorch实现的图像篡改检测代码，基本思路是使用卷积神经网络（CNN）来学习图像的特征，然后将提取的特征输入到分类器中来判断图像是否被篡改。

import torch
import torch.nn as nn
import torch.optim as optim
import torchvision.transforms as transforms
import torchvision.datasets as datasets
from torch.utils.data import DataLoader

class ImageForgeryDetector(nn.Module):
    def __init__(self):
        super(ImageForgeryDetector, self).__init__()
        self.conv1 = nn.Conv2d(3, 32, kernel_size=3, stride=1, padding=1)
        self.conv2 = nn.Conv2d(32, 64, kernel_size=3, stride=1, padding=1)
        self.conv3 = nn.Conv2d(64, 128, kernel_size=3, stride=1, padding=1)
        self.pool = nn.MaxPool2d(kernel_size=2, stride=2)
        self.fc1 = nn.Linear(128 * 8 * 8, 512)
        self.fc2 = nn.Linear(512, 2)
        self.relu = nn.ReLU()

    def forward(self, x):
        x = self.relu(self.conv1(x))
        x = self.pool(x)
        x = self.relu(self.conv2(x))
        x = self.pool(x)
        x = self.relu(self.conv3(x))
        x = self.pool(x)
        x = x.view(-1, 128 * 8 * 8)
        x = self.relu(self.fc1(x))
        x = self.fc2(x)
        return x
def train(model, train_loader, optimizer, criterion, device):
    model.train()
    running_loss = 0.0
    for i, (inputs, labels) in enumerate(train_loader):
        inputs, labels = inputs.to(device), labels.to(device)
        optimizer.zero_grad()
        outputs = model(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()
        running_loss += loss.item()
    return running_loss / len(train_loader)

def test(model, test_loader, criterion, device):
    model.eval()
    correct = 0
    total = 0
    running_loss = 0.0
    with torch.no_grad():
        for i, (inputs, labels) in enumerate(test_loader):
            inputs, labels = inputs.to(device), labels.to(device)
            outputs = model(inputs)
            loss = criterion(outputs, labels)
            running_loss += loss.item()
            _, predicted = torch.max(outputs.data, 1)
            total += labels.size(0)
            correct += (predicted == labels).sum().item()
    accuracy = 100 * correct / total
    return running_loss / len(test_loader), accuracy
    
def main():# 设置超参数
    batch_size = 32
    learning_rate = 0.001
    num_epochs = 10# 加载数据集
    transform = transforms.Compose([
        transforms.Resize((32, 32)),
        transforms.ToTensor(),
        transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
    ])
    train_dataset = datasets.ImageFolder(root='train', transform=transform)
    train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True)
    test_dataset = datasets.ImageFolder(root='test', transform=transform)
    test_loader = DataLoader(test_dataset, batch_size=batch_size, shuffle=False)

    # 初始化模型和优化器
    device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
    model = ImageForgeryDetector().to(device)
    optimizer = optim.Adam(model.parameters(), lr=learning_rate)
    criterion = nn.CrossEntropyLoss()

    # 训练模型for epoch in range(num_epochs):
    train_loss = train(model, train_loader, optimizer, criterion, device)
    test_loss, test_accuracy = test(model, test_loader, criterion, device)
    print('Epoch [{}/{}], Train Loss: {:.4f}, Test Loss: {:.4f}, Test Accuracy: {:.2f}%'.format(epoch+1, num_epochs, train_loss, test_loss, test_accuracy))

    # 保存模型
    torch.save(model.state_dict(), 'model.pth')

然而上述代码模型结构较为简单，在实际使用发现其准确率极低，容易出现误判和漏判的情况，且无法准确找到篡改位置，需要进一步提高算法的准确性，而且对于不同类型的篡改手段和篡改痕迹的鲁棒性还需要进一步提高。