为什么我不能将模式传递给张量流GANEstimator中的鉴别器函数？

在张量流（TensorFlow）中，GAN（生成对抗网络）是一种用于生成模型的机器学习算法。GANEstimator是TensorFlow中用于训练和评估GAN模型的高级API。

在GAN模型中，鉴别器函数（Discriminator Function）用于判断输入样本是真实样本还是生成样本。模式（Pattern）是指一组特征或属性的组合，用于描述数据的分布或规律。

然而，将模式传递给GANEstimator中的鉴别器函数是不可行的。这是因为GAN模型的训练过程是通过生成器（Generator）和鉴别器之间的对抗来实现的。生成器的目标是生成逼真的样本，而鉴别器的目标是准确地区分真实样本和生成样本。

如果将模式传递给鉴别器函数，鉴别器将会倾向于学习特定的模式，而不是有效地区分真实样本和生成样本。这将导致生成器无法学习到数据的真实分布，从而影响GAN模型的性能和生成样本的质量。

因此，在GANEstimator中，鉴别器函数应该被设计为能够有效地区分真实样本和生成样本，而不依赖于特定的模式。这样才能保证GAN模型的训练过程能够有效地进行，并生成高质量的样本。

腾讯云相关产品和产品介绍链接地址：

腾讯云AI开放平台：https://cloud.tencent.com/product/ai
腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
腾讯云数据库（TencentDB）：https://cloud.tencent.com/product/cdb
腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
腾讯云区块链服务（TBaaS）：https://cloud.tencent.com/product/tbaas

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

使用 GAN 网络生成名人照片

名人图片数据集 CelebA数据集是超过200,000个带注释的名人面部图像的集合。因为在这个博客中，我只是想生成面孔所以我没有考虑注释。 1）获取数据： ?...2）预处理图像：由于我仅在面部图像上工作，为获得良好的效果所以我将其调整到28 * 28。我裁剪了图像中不包含图像部分的部分。 ?...由于生成式对抗网络很难训练（你可以查看此链接，以了解为什么生成式对抗网络的训练如此困难？）...最后一层通过双曲正切（tanh）函数输出28x28x3张量。 鉴别器结构： ? 鉴别器的工作是识别哪个图像是真实的，哪个是假的。...最后，鉴别器使用Logistic Sigmoid函数显示用于表示图像是真或假的输出概率。当鉴别器看到图像中的差异时，它将梯度信号发送到生成器，此信号从鉴别器流向生成器。

3501 0

PyTorch 2.2 中文官方教程（十一）

关于上面代码的一个微妙之处是为什么子模块在构造函数的初始化列表中创建，而参数在构造函数体内创建。这有一个很好的原因，我们将在下面关于 C++前端所有权模型部分详细介绍。...我在上面的代码中没有看到 shared_ptr 的提及！为什么呢？那是因为 std::shared_ptr 是一个很长的类型。...然后我们将这些假图像传递给鉴别器。这一次，我们希望鉴别器发出低概率，理想情况下全为零。一旦我们计算了真实图像批次和假图像批次的鉴别器损失，我们就可以通过一步来推进鉴别器的优化器，以更新其参数。...实现这两个目标的最简单方法是在我们的训练脚本的顶层创建一个torch::Device实例，然后将该设备传递给张量工厂函数，如torch::zeros以及to()方法。...在训练模式下，样本统计量是输入的函数。在eval模式下，我们使用保存的运行统计量，这些统计量不是输入的函数。这使得非训练模式的反向传播显著简化。下面我们只实现和测试训练模式的情况。

8601 0

一个快速构造GAN的教程：如何用pytorch构造DCGAN

我们将重新标定图像到范围[-1,1]，所以我们的生成器输出激活应该反映这一点。这些可以在剩余的__init__方法中实例化，但是我喜欢将模块实例化与构造函数分开。...输入张量被传递给第一个模块，输出被传递给下一个模块，输出被传递给下一个模块，以此类推。...pytorch的优化器需要知道他们在优化什么。对于鉴别器，这意味着鉴别器网络中的所有可训练参数。...如果您不认为这是简单的，试着在另一个框架中重写它。 DCGAN.train_epoch 这个函数进行一次训练生成器和鉴别器的epoch，也就是在整个数据集上进行一次遍历。...结论本教程中描述的DCGAN显然非常简单，但它应该足以让您开始在PyTorch中实现更复杂的GANs。在我做一个关于GAN的教程之前，你能修改这个脚本来制作一个条件GAN吗?

1.5K4 0

PyTorch 中Datasets And DataLoaders的使用 | PyTorch系列（十二）

https://arxiv.org/abs/1710.05381 访问训练集中的数据要访问训练集中的单个元素，我们首先将train_set对象传递给Python的iter()内置函数，该函数返回一个表示数据流的对象...对于数据流，我们可以使用Python内置的next()函数来获取数据流中的下一个数据元素。...现在我们来画出图像，我们会看到为什么一开始我们压缩了这个张量。我们首先压缩这个张量，然后把它传递给imshow() 函数。...这就是为什么我们对变量名使用复数形式的原因。类型是我们期望的张量。但是，形状与我们在单个样品中看到的形状不同。我们没有一个标量值作为标签，而是有一个带有10个值的一阶张量。...，这就是为什么现在张量的第一个尺寸为10，每个图像是一个索引。

1.4K2 0

tf.estimator

class BestExporter: 该类导出最佳模型的服务图和检查点。class BoostedTreesClassifier: 一个用于张量流增强树模型的分类器。...class DNNLinearCombinedRegressor: 一个估计的张量流线性和DNN连接模型的回归。class DNNRegressor: 张量流DNN模型的回归器。...class Estimator: 用来训练和评估张量流模型的Estimator类。class EstimatorSpec: 操作和对象从model_fn返回并传递给评估器。...class LoggingTensorHook: 每N个局部步骤、每N秒或在末尾打印给定的张量。class ModeKeys: 估计器模型模式的标准名称。...二、重要的函数和类操作和对象从model_fn返回并传递给评估器。

1.4K3 0

PyTorch 深度学习（GPT 重译）（一）

TensorFlow：完全消化了 Keras，将其提升为一流的 API 提供了一个立即执行的“急切模式”，与 PyTorch 处理计算方式有些相似发布了默认启用急切模式的 TF 2.0...在这里，我们将一个列表的列表传递给构造函数。...如果我们想在不操作命名张量的函数之外使用张量，我们需要通过将它们重命名为 None 来删除名称。...由于这个事实，我们可以将返回的对象传递给torch.from_numpy函数，直接获得一个张量。...对a逐元素应用函数。为什么会返回错误？使函数工作需要什么操作？是否有一个在原地操作的函数版本？ 3.15 总结神经网络将浮点表示转换为其他浮点表示。

2771 0

Local GAN | 局部稀疏注意层+新损失函数（文末免费送书活动）

文章还提出了一种新颖的方法来引起对立的对抗网络的产生，就是使用鉴别器的注意力层来创建创新的损失函数（an innovative loss function）。...他们所做的主要观察是，稀疏变压器中引入的模式实际上是针对一维数据（如文本序列）设计的。稀疏变压器通过重塑张量以显着扭曲图像像素二维网格距离的方式应用于图像。...我们在附录中包括了更多关于信息流图的细节，以及我们如何使用它们来设计注意力模式。注意层有一些限制。首先是它们在计算上效率低下：标准的密集注意力需要内存和时间复杂度，它们在输入大小上成倍增加。...黄色细胞对应的位置，我们不关注任何步骤(稀疏性)。第二行说明了与上述注意遮罩相关的信息流图。信息流图显示了信息在注意层中是如何“流动”的。...将这些层应用到图像上的标准方法是将三维图像张量(有三个颜色通道)重塑为一个引起注意的二维张量X∈RN×C。这对应于N个标记，每个标记包含一个c维的输入图像区域表示。

6312 0

在pytorch中停止梯度流的若干办法，避免不必要模块的参数更新

为什么我们要控制梯度流？这个答案有很多个，但是都可以归结为避免不需要更新的模型模块被参数更新。...属性2、在优化器中设置不更新某个模块的参数，这个模块的参数在优化过程中就不会得到更新，然而这个模块的梯度在反向传播时仍然可能被计算。...，原先计算图已经和当前回传的梯度流脱离关系了。...image.png事实上，我们可以通过设置张量的requires_grad属性来设置某个张量是否计算梯度，而这个不会影响梯度回传，只会影响当前的张量。...设置优化器的更新列表这个方法更为直接，即便某个模块进行了梯度计算，我只需要在优化器中指定不更新该模块的参数，那么这个模块就和没有计算梯度有着同样的效果了。

7.2K4 1

TensorFlow官方教程翻译：TensorFlow调试器

，传递给了指定的过滤器has_inf_or_nan：如屏幕显示所示，has_inf_or_nan过滤器在第四次运行run()的时候，第一次被传值：一个Adam优化器前馈训练在图中传递了这个值。...它允许你在不同的Session.run()调用中，配置查看的张量，作为对于run()调用和其他状态的获取以及feed_dict的函数。...Q:我怎样把tfdbg和我在Bazel里的会话连接起来？为什么我看到一个错误：ImportError:cannot import name debug？...tfdbg包装的会话或者钩子仅在主线程中运行调试模式？....* Q:为什么我不能再tfdbg命令行界面选择文本？ A:这是因为tfdbg命令行界面在终端中默认开启了鼠标事件。这个鼠标-任务模式重载了默认的控制台交互，其中包括文本选择。

1.5K6 0

Python人工智能 | 四.TensorFlow基础之Session、变量、传入值和激励函数

数据流图是一个有向图，使用节点（一般用圆形或方形描述，表示一个数学操作或数据输入的起点和数据输出的终点）和线（表示数字、矩阵或Tensor张量）来描述数学计算。...当我们把图中的一个节点传递给Session.run( )的时候，实际上就是在对TensorFlow说“Hi，我想要这个node的输出，请帮我运行相应的操作来得到它，谢谢！”...五.激励函数激励函数（activation function）会让某一部分神经元先激活，然后把激活的信息传递给后面一层的神经系统中。...layer1传进来的值进行加工，加工完之后layer2要输出值Wx_plus_b，该值经过一个激励函数relu，某些部分被激励，然后继续传递到predictions作为预测值。...这是非常基础的一篇深度学习文章，同时文章中存在错误或不足之处，还请海涵~ 参考文献，感谢各位大神的文章和视频，推荐大家跟着莫烦老师学习，他是我人工智能的入门老师。

6131 0

探索生成式对抗网络GAN训练的技术：自注意力和光谱标准化

GAN是一个框架，由Goodfellow等人发明，其中互相竞争的网络，生成器G和鉴别器D都由函数逼近器表示。它们在对抗中扮演不同的角色。...BN对于让更深层次的模型工作而不会陷入模式崩溃来说至关重要。模式崩溃是G创建具有非常少的多样性样本的情况。换句话说，G为不同的输入信号返回相同的样本。...此外，批标准化还有助于处理由于参数初始化不良而产生的问题。此外，DCGAN在鉴别器网络中使用Leaky ReLU激活。与常规ReLU函数不同的是，Leaky ReLU允许为负值传递一个小的梯度信号。...因此，它使来自鉴别器的梯度更强地流入生成器。它不在反向传播中传递0梯度（斜率），而是传递一个小的负梯度。 DCGAN引入的架构指引仍然存在于最近模型的设计中。...简单的说，SN约束卷积滤波器的Lipschitz常数。SN被用作稳定鉴别器网络训练的方法。在实践中，它非常有效。然而，在训练经过标准化的鉴别器时存在一个问题。

1.5K2 0

GAN最新进展：8大技巧提高稳定性

在 mode collapse 期间，生成器生成属于一组有限模式集的样本。当生成器认为它可以通过锁定单个模式来欺骗鉴别器时，就会发生这种情况。也就是说，生成器仅从这种模式来生成样本。...由于鉴别器损失降低时，生成器损失增加 (反之亦然)，我们不能根据损失函数的值来判断收敛性。如下图所示: 一个典型的 GAN 损失函数 3....原始 GAN 损失函数中的 log loss 并不关心生成的数据与决策边界的距离 (决策边界将真实数据和虚假数据分开)。...作者在损失函数中引入了一个简单的 gradient penalty，从而缓解了上述问题。此外，与最初的 WGAN 实现一样，保留了 1-Lipschitz 连续性。...防止 mode collapse 的另一种方法是在将属于同一类的多个样本传递给鉴别器之前 “打包” 它们，即 packing。

1.1K4 0

使用PyTorch时，最常见的4个错误

3)在.backward()之前忘记了.zero_grad()(在pytorch中)。4)将softmaxed输出传递给了期望原始logits的损失，还有其他吗？...为什么？好吧，当你过拟合了单个batch —— 你实际上是在确保模型在工作。我不想在一个巨大的数据集上浪费了几个小时的训练时间，只是为了发现因为一个小错误，它只有50%的准确性。...常见错误 2: 忘记为网络设置 train/eval 模式 为什么PyTorch关注我们是训练还是评估模型？最大的原因是dropout。这项技术在训练中随机去除神经元。...在这个特定的例子中，似乎每50次迭代就会降低准确度。如果我们检查一下代码 —— 我们看到确实在train函数中设置了训练模式。...在test函数内部，我们将模式设置为eval!这意味着，如果我们在训练过程中调用了test函数，我们就会进eval模式，直到下一次train函数被调用。

1.5K3 0

GAN最新研究进展与提高其性能的技术

顶部的图像表示没有模式崩溃的GAN的输出。底部的图像表示模式崩溃的GAN的输出。 鉴别器最终发现这种模式的样本是假的。结果，生成器只是锁定到另一种模式。...这些函数也称为K-Lipschitz连续。在GAN中需要Lipschitz连续性，因为它们限制了鉴别器的梯度，从而基本上防止了爆炸梯度问题。...原始GAN损失函数中的对数丢失不会干扰生成的数据与决策边界的距离（决策边界将实数和假数据分开）。...作者引入了一个简单的梯度惩罚，它被添加到损失函数中，从而减轻了上述问题。此外，保持1-Lipschitz连续性，如在原始WGAN实现中那样。 ?...在鉴别器有机会响应之后，展开的GAN使生成器能够欺骗鉴别器（要考虑到反作用）。防止模式崩溃的另一种方法是在将其传递给Discriminator之前“打包”属于同一类的几个样本。

1.4K2 0

写给初学者的Tensorflow介绍

随着维度的不断增加，数据表示将变得越来越复杂。例如，一个3x3的张量，我可以简单地称它为3行和列的矩阵。...如果我选择另一个形式的张量（1000x3x3），我可以称之为一个向量或一组1000个3x3的矩阵。在这里我们将（1000x3x3）称为张量的形状或尺寸。张量可以是常数也可以是变量。...更常见的是，worker之间交换张量形式的数据，例如在e =（c）*（d）的图表中，一旦计算出c，就需要将其进一步传递给e，因此Tensor在节点间前向流动。该流动如图所示： ?...此处张量从设备A传递到设备B。这在分布式系统中引起了一些性能延迟。延迟取决于一个重要属性：张量大小。设备B处于空闲模式，直到它接收到设备A的输入。...压缩的必要性很显然，在计算图中，张量在节点之间流动。在流到达可以处理的节点之前，减少流造成的延迟非常重要。一个方法是使用有损压缩减小尺寸。张量的数据类型可以发挥重要作用，让我们来理解为什么。

1.1K1 0

斯坦福深度学习课程第六弹：一起来学Tensorflow part1

Tensorflow 可以对定义在张量(tensors,你可以先简单理解成标量、向量或者矩阵，一会儿会提到)上的函数自动求导，因此神经网络中BP算法可以很轻松地实现。...python库中，节点构造器的返回值即当前节点的输出，这些返回值可以传递给其它节点(op)作为输入。.../包，这是因为它能将图定义转换成分布式执行的操作，以充分利用可以利用的计算资源（如CPU或GPU）。...有很多同学会问，前面不是提到了一个概念叫做张量，为什么还需要这个新的变量呢？...Tensorflow还提供了feed机制，该机制可以临时替代图中的任意操作中的张量，也就是说，可以对图中任何操作提交补丁，直接插入一个新的张量。

6385 0

可能提高GAN性能的方法介绍

我们计算图像x与同一批次中其余图像的相似性。我们在鉴别器中的一个密集层中附加相似度o（x），以区分这个图像是真实的还是生成的。 ? 如果模式开始崩溃，则生成的图像的相似性会增加。...如果图像的相似度与真实图像的相似度不匹配，鉴别器就可以判断图像是否为生成。这鼓励生成器创建多样性更接近真实图像的图像。通过变换矩阵T计算图像xi与同一批次中的其他图像之间的相似性o（xi）。...例如，它使用很少的特征来分类对象。深度学习使用规则（regulation）和辍学（dropout ）来缓解问题。在GAN中，当数据有噪音时，我们不希望过拟合模型。...如果鉴别器响应速度慢，则生成的图像将会收敛并且模式开始崩溃。相反，当鉴别器表现良好时，生成器的损失函数的梯度消失且学习缓慢。所以，我们要注意平衡生成器和鉴别器之间的损失，在训练GAN中找到最佳点。...使用标签（CGAN）许多数据集都带有对应于于样本对象类型的标签。将标签添加为潜在空间z的一部分并将它们馈送到鉴别器的输入中，有助于GAN性能的提高。下图是CGAN中利用样本中的标签的数据流。 ?

1.5K4 0

Pytorch和DCGAN生成肖像画

但是为了快速运行此代码，我们定义了一个辅助函数_block（），它添加了DCGAN论文中建议的一层，输入通过顺序模型作为（batch_size，3，64，64）张量并卷积为一个具有512 * 4 *...4个特征的向量，之后我仅使用了S型激活函数就为假图像返回0，为实数返回1。...对于鉴别器训练，我使用均方误差作为损失函数。我也尝试使用二进制交叉熵，但MSELoss最有效。在训练循环之前，我们还初始化张量板编写器以在tensorboard上实时查看我们的图像。...之后，我们使用特征匹配来训练我们的生成器。之前，我们在鉴别器的前向传递中添加了变量“ feature_matching”，以从图像中提取感知特征。...在传统的DCGAN中，您只需训练生成器以伪造的图像来欺骗鉴别器，而在这里，我们试图训练生成器以生成与真实图像的特征紧密匹配的图像。此技术通常可以提高训练的稳定性。

4874 0

PyTorch专栏（七）:模型保存与加载那些事

，只需要保存模型学习到的参数，使用torch.save()函数来保存模型state_dict,它会给模型恢复提供最大的灵活性，这就是为什么要推荐它来保存的原因。...如果不这样做，有可能得到不一致的推断结果。如果你想要恢复训练，请调用model.train()以确保这些层处于训练模式。 4....如果不这样做，有可能得到不一致的推断结果。如果你想要恢复训练，请调用model.train()以确保这些层处于训练模式。 5....如果要将参数从一个层加载到另一个层，但是某些键不匹配，主要修改正在加载的 state_dict 中的参数键的名称以匹配要在加载到模型中的键即可。 6....torch.load()函数中的map_location参数.在这种情况下，使用 map_location参数将张量下的存储器动态的重新映射到CPU设备。

8.2K3 0

Pytorch中的.backward()方法

PyTorch的主要功能和特点之一就是backword函数，我知道一些基本的导数: Let, F = a*b Where, a = 10 b = 10∂F/∂a = b => ∂F/∂a = 20 ∂...RuntimeError: grad can be implicitly created only for scalar outputs 在文档中写道：当我们调用张量的反向函数时，如果张量是非标量(即它的数据有不止一个元素...这里F是非标量张量所以我们需要把梯度参数传递给和张量F维数相同的反向传播函数 ? 在上面的代码示例中，将梯度参数传递给backword函数并给出了所需的梯度值a和b。...但是，为什么我们必须将梯度参数传递给backword函数? 要理解这一点，我们需要了解.backward()函数是如何工作的。...在前向传播过程中，自动动态生成计算图。对于上面的代码示例，动态图如下: ? 从上面的计算图中，我们发现张量A和B是叶节点。我们可以用is_leaf来验证: ?

2.6K2 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云