在这项工作中, 我们通过提出增量预测编码 (iPC) 来解决这个问题, 它是源自 增量期望最大化算法的原始框架的一种变体, 其中每个操作都可以在没有外部控制的情况下并行执行。...在本文中, 我们展示了如何通过考虑EM 算法的变体来解决这两个问题, 称为增量期望最大化 (iEM), 它并行执行 E 和 M步骤 [Neal 和 Hinton, 1998]。...结果是我们称之为增量预测编码 (iPC) 的训练算法, 它是 PC 的简单变体, 解决了PC 的主要缺点(即效率), 从学习的角度来看没有缺点, 因为它已被正式证明具有与标准 PC 等效的收敛特性...本文的贡献简要总结如下:
1.我们首先使用增量 EM 方法从分层生成模型的变分自 由能开发 iPC 的更新规则。...我们通过分析 iPC、 标准 PC 和 BP 之间的异同得出结论。
增量预测编码皮层在大脑中发挥作用, 并且在大型网络上的泛化能力方面具有匹配反向传播的潜力。