首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    随机计算:连续案例

    所有这些情况都会将您的计算变成一个随机的 - 先前的确定性节点现在变成随机的。 如何通过这些节点进行反向传播并不明显。 在这个系列中,我想概述可能的方法。...考虑大致的推理目标: [图片] 或强化学习目标: [图片] 在下面,我将使用以下符号为目标: [图片] 在这种情况下,(随机)计算(SCG)可以用下面的形式表示[1]: [图片] 这里的 θ,双圈是一组可调参数...为了使用这样的来估计F(θ),你只需要用你的θ,计算x的分布,从中得到尽可能多的样本,为每个样本计算f(x),然后对它们进行平均。 我们如何最大限度地提高呢?...基本上,这个想法是这样的:如果一些随机变量可以被分解成其他随机变量的组合,那么我们能够转换我们的随机计算,使得我们不需要通过随机反向传播,并且将随机性注入到模型中作为独立 噪声?...[p3.png] Gen Rep 1是一个广义的重新参数化,只有第一时刻变成白色, Gen Rep 2 - 只有第二个 仿真清楚地表明,基于分数函数的梯度和第一次广义的重新参数化不能收敛,这与我们的方差分析是一致的

    1.6K00
    领券