2回答
我想知道我是否误解了Keras文档，但就我所读到的内容而言，没有交叉熵实现。有分类和sparse_categorical (它们似乎完全相同，但只期望有不同的标签格式)。我的想法是将每个目标索引封装成二进制交叉熵，但这感觉不对，我认为有一个更好的解决方案。你能帮我找到合适的CE损失吗？
浏览 0提问于2020-03-17得票数 1
回答已采纳
1回答
python中的Scipy提供了以下函数，这些函数似乎计算相同的信息论度量，Kullback散度，也称为相对熵：
可以切换到计算KL-散度的scipy.stats.entropy，，如果是qk=Nonescipy.special.rel_entrscipy.special.kl_div
浏览 8提问于2020-08-12得票数 2
回答已采纳
2回答
我在理解KL-散度以及如何使用它进行特征选择时有点困难。因此，假设我有一组观察值(例如，0和1)，并为每个观察值生成2个特征。我现在的问题是:为什么特性是“最好的”？我知道我可以使用KL-散度(由$$D_{KL} =log(I)\ \sum_i \frac{ p(i) }{q(I)}$$给出)，但是什么是P，什么是Q？我的直觉告诉我，P是特征1，Q是真正的分布(所以是0和1的集合)，但我的理解也是，一个好的特征可以最大化KL散度。但是如果Q是类的实际分布，那么你想最小化它，对吗？
浏览 4提问于2016-06-04得票数 0
2回答
我所缺少的是如何测量随机性/相互依存性的程度(也许这与熵有关？)在两者之间，高分的学生在考试2中的分数也很高，如果R中有一个包，我可以用它来指定两个变量之间的任意熵度。
浏览 5提问于2020-11-17得票数 0
回答已采纳
1回答
我要计算这两个数据之间的熵和KL-散度。但我知道，熵和kl-散度是在概率分布之间计算的，但数据只是数值(而不是概率分布)。那么，我如何计算我的数据呢？我应该把我的数据转换成概率分布吗？
浏览 17提问于2022-11-08得票数 0
2回答
我想过的简单的、可能不正确的方法是:决定一个参考密度\mathcal{D}(例如，\mathcal{N}(0,1))，使用KL-散度计算A和B密度与参考密度之间的“距离”，并选择距离较小的模型。
浏览 0提问于2021-07-17得票数 2
回答已采纳
我有两个矩阵X和Y(在大多数情况下它们是相似的)，现在我想计算所有行之间的成对KL散度，并将它们输出到一个矩阵中。例如：然后，该函数应采用kl_divergence(X, X)并计算两个X矩阵的每一对行的成对Kl散度距离。输出将是一个2x2矩阵。这在Python中已经有实现了吗？如果不是，这应该是非常简单的计算。我想要一些矩阵实现，因为我有大量的数据，需要保持尽可能低的运行时间。或者，Jensen-Shannon熵也很好。
浏览 1提问于2012-05-15得票数 3
回答已采纳
1回答
熵和交叉熵是否与基本定义相同？决策树分解取熵或基尼指数，可以用交叉熵来分割决策树吗？或者，在运行决策树算法之后，我应该使用它作为评估指标吗？那么我们如何使用KL发散度呢？以下是我对多类决策树的关注。
浏览 0提问于2020-01-16得票数 2
我使用Softmax交叉熵作为我的损失函数：cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(pred, y))
现在，我想我应该使用KL散度损失函数。但是，我没有在tensorflow中找到它，有没有人可以帮助我使用KL散度损失函数而不是Softmax损失？
浏览 6提问于2016-04-12得票数 1
我尝试了这个函数tf.contrib.distributions.kl(dist_a, dist_b, allow_nan=False, name=None)，但是失败了。我尝试手动实现它： return p* tf.log(p/q)+(1-p)*tf.log((1-p)/(1-q))
这是正确的吗？
浏览 3提问于2017-04-08得票数 6
回答已采纳
1回答
如果我正确理解，KL-散度是两个分布的相对熵。要计算两个分布的KL散度，需要两个随机变量向量。
我不明白的是，如何计算VAE (潜空间向量和N(0,1) )中的KL散度，正如许多教程中所述。我的问题是，如何正确地将潜在空间向量创建为随机变量向量，这样最终就可以计算出KL散度。
浏览 0提问于2018-12-10得票数 0
回答已采纳
1回答
我读过的几篇论文/书说，在寻找分类树中的最佳分裂时使用交叉熵，例如统计学习的元素(Hastie，Tibshirani，Friedman)，甚至在分类树的上下文中都没有提到熵。然而，其他来源提到熵，而不是交叉熵，作为寻找最佳分裂的衡量标准。这两种措施都可用吗？只使用交叉熵吗？就我的理解而言，这两个概念之间有很大的不同。
浏览 0提问于2019-03-12得票数 4
回答已采纳
1回答
用二进制地面真值代替二元交叉熵有意义吗？有什么正式的证据吗？
看起来像是在实践中使用的:例如在中，即mnist图像不是二进制图像，而是灰色图像。
浏览 28提问于2020-05-11得票数 3
回答已采纳
1回答
什么是分布不对称的度量？
、、、
我试图理解KL-发散，D_{KL} \langle P(X) \Vert P(Y) \rangle,，并浏览维基百科的文章。
浏览 0提问于2020-11-07得票数 1
回答已采纳
1回答
模型的输出为sigmoid，损失函数为二进制交叉熵：rec_loss = nn.functional.binary_cross_entropy(x_hat.view(-1, 128 ** 2), x.view(-1, 128 ** 2),reduction='sum')KL_loss = -0.5 * torch.sum(1 +logvar - mu.pow(2) - logvar.exp())
在训练的某一时刻，KL</e
浏览 4提问于2021-06-08得票数 1
In [15]: a = np.array([0.5, 0.5, 0, 0, 0])
Out[17]: inf
Out[18]: 0.6931471805599453
浏览 2提问于2019-07-29得票数 2
回答已采纳
2回答
我试图了解如何在分类任务中使用交叉熵来定义损失。
我对维基百科中关于交叉熵总是大于熵的说法感到很困惑。我给出了p(实分布)和Q(假设分布)的简单分布，并计算了交叉熵和熵。发现这种情况下的交叉熵小于熵。
浏览 0提问于2018-10-18得票数 3
我正在处理一个keras.io示例，其中构建了一个变分的自动编码器，在这里可以找到：
，，我试图用MeanSquaredError-损失替换二进制_交叉熵损失，但是我得到了一个TypeError。此外，我不明白为什么使用二进制交叉熵损失，因为我把这个损失理解为分类损失，但在这里，我比较原始数据的值和它的重构，这是一种回归，而不是分类。那么，为什么仍然适合使用crossentropy-loss?When -我运行的代码与交叉熵损失，并看看我的损失，那么KL损失和重建损失不总结为全损。我的意思是，总损失总是不等于KL<
浏览 3提问于2021-06-01得票数 0
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号