IS指标复现 文本生成图像IS分数定量实验全流程复现 Inception Score定量评价实验踩坑避坑流程

2024好事发生

这里推荐一篇实用的文章：前向和反向传播计算量差异；梯度计算和矩阵运算之间的计算量差异

前向传播和反向传播在计算量上存在差异，其中反向传播的计算量通常更大。而梯度计算和矩阵运算之间的计算量差异则取决于具体的网络结构和任务。在神经网络训练中，这些计算量都是需要考虑的重要因素。，梯度计算和矩阵运算都是重要的计算任务，它们各自具有不同的计算量和复杂度，这篇文章详细的讲解了前向和反向传播计算量差异，值得一看。

下面开始今天的主题：

一、IS分数简介

文本生成图像的评估也是一个很有挑战性的工作，IS分数是测量图像质量的一个通用指标。

IS分数，全称Inception Score，是一种广泛应用于评估生成对抗网络（GANs，Generative Adversarial Networks）性能的指标

IS分数通过计算生成图像在预训练图像分类器（如Inception-v3网络）下的条件概率分布和边际概率分布之间的散度来评估图像质量。具体来说，在GANs中，生成器（Generator）的目标是创造出与训练数据集相似的新图像，而判别器（Discriminator）的任务则是区分这些生成图像与真实图像。IS分数旨在量化生成器的表现，以判断其是否能生成高质量且多样性的图像。而IS用到了KL散度和熵的数学知识，其主要原理在于计算p(y|x)和p（y）之间的散度，IS分数越高，表示生成图像的质量越好。这是因为高IS分数意味着p(y∣x)的熵较小，即生成图像能够被分类器以较高的置信度正确分类，从而反映出图像的高清晰度和辨识度。另一方面，IS分数也反映了生成图像的多样性。当p(y)的分布较为均匀时，IS分数会更高。这表示生成器能够生成多种不同类别的图像，而不是只生成某一类图像。

二、IS分数 CUB定量实验步骤

以DF-GAN为例子：

第一步：B_VALIDATION改为True

根据DF-GAN的官方文档，首先将bird.yml中的B_VALIDATION改为True：

第二步：配置训练好的生成器

配置训练好的model，并将其放到code/bird中，重命名为netG.pth，下载后放入指定文件夹即可。

第三步：采样生成图像

运行：python main.py --cfg cfg/bird.yml

可能出现的问题1：RuntimeError: Attempting to deserialize object on CUDA device 1 but torch.cuda.device_count() is 1 问题原因：模型在训练时使用了多块GPU，但是本机只有1块GPU 解决方案：指定用“cuda:0”，找到两个torch.load(） 第一处在main.py的第57行：netG.load_state_dict(torch.load('models/%s/netG.pth' % (cfg.CONFIG_NAME))将其更改为：netG.load_state_dict(torch.load('models/%s/netG.pth' % (cfg.CONFIG_NAME), map_location='cuda:0')) 第二处在第254行将其更改为：state_dict = torch.load(cfg.TEXT.DAMSM_NAME, map_location='cuda:0')

可能出现的问题2： RuntimeError: Error(s) in loading state_dict for NetG: size mismatch for fc.weight: copying a param with shape torch.Size([4096, 100]) from checkpoint, the shape in current model is torch.Size([1024, 100]). size mismatch for fc.bias: copying a param with shape torch.Size([4096]) from checkpoint, the shape in current model is torch.Size([1024]). size mismatch for block0.c1.weight: copying a param with shape torch.Size([256, 256, 3, 3]) from checkpoint, the shape in current model is torch.Size([64, 64, 3, 3]) 问题原因：在加载模型时，参数对应不上，尺寸mismatch 解决方案：查看训练出的模型model.py与此时做定量的model.py是否一样，查看yml文件的尺寸大小是否设置一样，特别是NF参数的设置。如果是使用的DF-GAN官方训练好的模型，要将NF设置为32，其他也要保持一致：

成功运行后，会进行自动采样生成若干图片，即成功

第四步：下载IS代码并配置

官方提供的IS分数（StackGAN用过的）代码：github链接，将其放入文件夹中位置如下：

第五步：下载预训练好的inception mode并配置

下载预训练好的inception model：官方链接、打不开可以点击：CSDN链接，将其放入文件夹指定位置，位置如下：

第六步：配置inception_score.py，更改读取的路径

打开inception_score.py的代码，定位到41行到49行：

可以看到这里有两个文件地址，第一个地址是指明在哪里读取预训练好的inception model checkpoints，将其改为自己放的路径：

tf.app.flags.DEFINE_string('checkpoint_dir',
                           '../birds_valid299/model.ckpt',
                           """Path where to read model checkpoints.""")

第二个路径是指从哪里读取采样的图片，同样将其改为自己放的路径：

tf.app.flags.DEFINE_string('image_folder',
                           '../test/valid/single',
                           """Path where to load the images """)

第七步：开始定量评测

在终端输入：python inception_score.py --image_folder ../test/valid/single 显示如下：

就是大功告成啦，可以看到本次结果为 4.61，误差为±0.13！

IS分数在文本生成图像领域中具有广泛应用。当然，IS分数也存在一些限制。例如，它依赖于预训练的图像分类器，因此可能受到分类器性能的限制。此外，IS分数对于某些特定类型的图像可能不太适用，因为这些图像可能难以被传统分类器正确分类。在实际应用中，我们通常需要结合其他评估指标来全面评估生成器的性能。

最后

💖 个人简介：人工智能领域研究生，目前主攻文本生成图像（text to image）方向

🎉 支持我：点赞👍+收藏⭐️+留言📝