首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

第三章(1.6)tensorflow cross_entropy 四种交叉熵计算函数

1、tf.nn.sigmoid_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, name=None) _sentinel...:本质上是不用的参数,不用填 labels:一个和logits具有相同的数据类型(type)和尺寸形状(shape)的张量(tensor) shape:[batch_size,num_classes],...(_sentinel=None, labels=None, logits=None, dim=-1, name=None) _sentinel:本质上是不用的参数,不用填 labels:每一行labels...[i]必须是一个有效的概率分布,one_hot=True(向量中只有一个值为1,其他值为0) logits:labels和logits具有相同的数据类型(type)和尺寸(shape) shape:[batch_size...=None) 计算具有权重的sigmoid交叉熵sigmoid_cross_entropy_with_logits() _sentinel:本质上是不用的参数,不用填 labels:一个和logits具有相同的数据类型

1.5K50

tf.losses

如果权值是一个大小张量[batch_size],则通过权值向量中对应的元素重新计算批次中每个样本的总损失。如果权重的形状与预测的形状相匹配,那么预测的每个可度量元素的损失将按相应的权重值进行缩放。...参数:labels:地面真相输出张量,与“预测”维度相同。predictions:预测输出。...weights:可选张量,其秩要么为0,要么与标签的秩相同,并且必须对标签(即,所有尺寸必须为1,或与对应的损耗尺寸相同)。delta:浮点数,huber损失函数从二次函数变为线性函数的点。...如果还原为零,则其形状与标签相同;否则,它就是标量。...可能产生的异常:ValueError: If the shape of predictions doesn't match that of labels or if the shape of weights

1.3K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Transformers 4.37 中文文档(六十九)

    我们不支持这些模型,因为它们包括额外的“FakeQuantization”操作来取消量化权重。 通常会提取扩展层的输出,索引为 10 和 13,以及最终 1x1 卷积层的输出,用于下游目的。...返回的 logits 不一定与作为输入传递的pixel_values具有相同的大小。这是为了避免进行两次插值并在用户需要将 logits 调整为原始图像大小时丢失一些质量。...返回的 logits 不一定与作为输入传递的pixel_values具有相同的大小。这是为了避免进行两次插值并在用户需要将 logits 调整为原始图像大小时丢失一些质量。...返回的 logits 不一定与作为输入传递的pixel_values具有相同的大小。这是为了避免进行两次插值并在用户需要将 logits 调整为原始图像大小时丢失一些质量。...返回的 logits 不一定与作为输入传递的`pixel_values`具有相同的大小。

    20810

    Transformers 4.37 中文文档(六十四)

    为了确保内核成功编译,用户必须安装正确版本的 PyTorch 和 cudatoolkit。...logits(形状为(batch_size, config.num_labels)的torch.FloatTensor) — 分类(如果 config.num_labels==1 则为回归)得分(SoftMax...YOSO 模型在顶部具有用于提取问答任务(如 SQuAD)的跨度分类头(在隐藏状态输出顶部的线性层上计算span start logits和span end logits)。...由于 BEiT 模型期望每个图像具有相同的大小(分辨率),可以使用 BeitImageProcessor 来调整(或重新缩放)和规范化图像以供模型使用。...返回的 logits 不一定与作为输入传递的pixel_values具有相同的大小。这是为了避免进行两次插值并在用户需要将 logits 调整为原始图像大小时丢失一些质量。

    15610

    Transformers 4.37 中文文档(二十九)

    logits(形状为(batch_size, config.num_labels)的torch.FloatTensor)—分类(如果 config.num_labels==1 则为回归)得分(SoftMax...DeBERTa 模型在顶部具有用于提取式问答任务(如 SQuAD)的跨度分类头(在隐藏状态输出的线性层上计算跨度起始 logits和跨度结束 logits)。...参数 input_ids(np.ndarray,tf.Tensor,List[tf.Tensor],``Dict[str, tf.Tensor]或Dict[str, np.ndarray],每个示例必须具有形状...logits(形状为(batch_size, config.num_labels)的tf.Tensor)— 分类(如果config.num_labels==1则为回归)得分(SoftMax 之前)。...参数 input_ids(np.ndarray、tf.Tensor、List[tf.Tensor]、Dict[str, tf.Tensor] 或 Dict[str, np.ndarray],每个示例必须具有形状

    40010

    Transformers 4.37 中文文档(九十二)

    loss (torch.FloatTensor,形状为(1,),可选,当提供labels时返回)) — 总损失,作为类别预测的负对数似然(交叉熵)和边界框损失的线性组合。...必须向模型提供输入(可以是文本、图像、音频等),模型将使用这些输入与潜在变量进行交叉注意力。Perceiver 编码器的输出是相同形状的张量。...感知器编码器的多模态预处理。 对每个模态进行预处理,然后使用可训练的位置嵌入进行填充,以具有相同数量的通道。...logits(形状为(batch_size, num_labels)的torch.FloatTensor)- 分类(如果 config.num_labels==1 则为回归)得分(SoftMax 之前)...logits(形状为(batch_size, config.num_labels)的torch.FloatTensor) — 分类(如果config.num_labels==1则为回归)分数(SoftMax

    34110

    TensorFlow 高效编程

    =[10, 10]) z = np.dot(x, y) print(z) 现在我们使用 TensorFlow 中执行完全相同的计算: import TensorFlow as tf x = tf.random_normal...二、理解静态和动态形状 在 TensorFlow 中,tensor有一个在图构建过程中就被决定的静态形状属性, 这个静态形状可以是未规定的,比如,我们可以定一个具有形状[None, 128]大小的tensor...b = tf.placeholder(tf.float32, [None, 10, 32]) b = reshape(b, [0, [1, 2]]) 三、作用域和何时使用它 在 TensorFlow 中...正常情况下,当你想要进行一些操作如加法,乘法时,你需要确保操作数的形状是相匹配的,如:你不能将一个具有形状[3, 2]的张量和一个具有[3,4]形状的张量相加。...注意到我们现在有 3 个张量,两个常数张量和一个储存加法结果的张量。注意到我们不能重写一个张量的值,如果我们想要改变张量的值,我们就必须要创建一个新的张量,就像我们刚才做的那样。

    1.6K10

    Transformers 4.37 中文文档(九十四)

    queries (str 或 List[str]) — 与要编码的表格相关的问题或问题批次。请注意,在批处理的情况下,所有问题必须引用相同的表格。...Tapas 模型具有用于表格问答任务的单元选择头和可选的聚合头(用于计算 logits 和可选的 logits_aggregation 的隐藏状态输出上的线性层),例如用于 SQA、WTQ 或 WikiSQL...logits (tf.Tensor,形状为 (batch_size, config.num_labels)) — 分类(或者如果config.num_labels==1则为回归)得分(SoftMax 之前...损失 (tf.Tensor 的形状为 (1,), 可选的, 当提供 labels(可能还有 answer, aggregation_labels, numeric_values 和 numeric_values_scale...损失 (tf.Tensor 的形状为 (1,), 可选的, 当提供 labels(可能还有 answer, aggregation_labels, numeric_values 和 numeric_values_scale

    24710

    Transformers 4.37 中文文档(六十三)

    logits(形状为(batch_size, config.num_labels)的torch.FloatTensor)- 分类(如果 config.num_labels==1 则为回归)得分(SoftMax...loss(形状为(1,)的torch.FloatTensor,可选,当提供labels时返回)- 总跨度提取损失是起始和结束位置的交叉熵之和。...logits (形状为(batch_size, config.num_labels)的 tf.Tensor) — 分类(如果 config.num_labels==1 则为回归)分数(SoftMax 之前...XLNet 模型在顶部具有一个用于提取式问答任务(如 SQuAD)的跨度分类头(在隐藏状态输出的顶部有线性层,用于计算 span start logits 和 span end logits)。...XLNet 模型在顶部具有用于提取式问答任务(如 SQuAD)的跨度分类头(在隐藏状态输出的线性层上计算span start logits和span end logits)。

    31210

    Transformers 4.37 中文文档(七十)

    logits(形状为(batch_size, config.num_labels)的torch.FloatTensor) — 分类(如果 config.num_labels==1 则为回归)分数(SoftMax...返回的 logits 不一定与作为输入传递的 pixel_values 具有相同的大小。这是为了避免进行两次插值并在用户需要将 logits 调整为原始图像大小时丢失一些质量。...logits(形状为(batch_size, config.num_labels)的torch.FloatTensor)— 分类(如果config.num_labels==1则为回归)得分(SoftMax...logits(形状为(batch_size, config.num_labels)的jnp.ndarray)—分类(如果config.num_labels==1则为回归)得分(SoftMax 之前)。...这一结果赢得了 ILSVRC 2015 分类任务的第一名。我们还对具有 100 和 1000 层的 CIFAR-10 进行了分析。表示的深度对许多视觉识别任务至关重要。

    17910

    Transformers 4.37 中文文档(七十一)

    最重要的预处理步骤是将图像和分割图随机裁剪和填充到相同大小,例如 512x512 或 640x640,然后进行归一化。...logits(形状为(batch_size, config.num_labels)的torch.FloatTensor)— 分类(或回归,如果config.num_labels==1)得分(SoftMax...返回的 logits 不一定与传入的pixel_values具有相同的大小。这是为了避免进行两次插值并在用户需要将 logits 调整为原始图像大小时丢失一些质量。...logits(形状为(batch_size, config.num_labels)的tf.Tensor)— 分类(如果config.num_labels==1则为回归)得分(SoftMax 之前)。...返回的对数不一定与作为输入传递的 pixel_values 具有相同的大小。这是为了避免进行两次插值并在用户需要将对数调整为原始图像大小时丢失一些质量。

    39910
    领券