为什么递归神经网络要循环所有隐藏的神经元？
为什么递归神经网络要循环所有隐藏的神经元？
提问于 2016-10-10 00:03:43
我理解递归神经网络(RNN)需要有一个记忆，以及这是如何通过反馈隐藏神经元的输出来获得的。但是为什么他们不能只保留输入，也就是说，只延迟和反馈输入序列，而不是那些输入函数的隐藏神经元，并以此作为背景？
这似乎解决了许多问题，为整个隐藏的状态反馈(即BPTT困难)，但仍然保留所有的上下文。根据定义，输入具有计算上下文所需的任何数据。
即使上下文是输入的函数，而不是输入本身，我们仍然可以使用这一点，因为单个隐层中的某些神经元可以是x(t-1) x(t-2)...输入的函数。因此，我们仍然可以用标准的RNN计算任何我们可以计算的，但复杂度要低得多:一些神经元将专门研究x(t)，而一些则专门处理x(t-n)。
现在，既然没有人这样做，我不得不想象他们会考虑并拒绝它。为什么？
回答 1
Stack Overflow用户
发布于 2016-10-11 16:17:49
看看http://www-dsi.ing.unifi.it/~paolo/ps/tnn-94-gradient.pdf学习的长期依赖与梯度下降是困难的，由本吉奥在al.“递归神经网络.有一种内部状态可以.将关于过去输入的信息保存一段时间而不是先验固定的.相反，静态网络(即没有递归连接)，即使包含延迟，(如时滞神经网络)也有一个有限的脉冲响应，而不能为不确定时间的存储一点信息。
因此，我提出的方案似乎被Bengio称为时滞神经网络，它的主要缺点是内存是固定的、有限的、最大的。例如，无法在一个窗口中实现加速器(超过窗口大小)。与真正的RNN形成对比，在RNN中，权重可以无限期地保留特定信息(尽管可能很难学习)。例如，累加器很容易实现。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/39949762
复制相关文章
相似问题
腾讯云开发者
