我试图编程一个强化学习算法使用策略梯度，灵感来自。卡帕的例子只有上下两个动作，所以一个输出神经元就足够了(高activation=UP，低activation=DOWN)。但是，我不确定输出层的梯度应该是多少。如果我在监督学习环境中使用具有softmax激活的交叉熵损失函数，神经元的梯度就是：其中target[i] = 1用于所需的操作，0用于所有其他操作。为了用于强化学习</
浏览 6提问于2017-05-10得票数 3
回答已采纳
1回答
我正在使用策略梯度训练我的网络，并将损失定义为： self.loss = -tf.reduce_mean(tf.log(OUTPUT_NN)* self.REWARDS))
self.opt = tf.train.AdamOptimizer(self.lr).minimize(self.loss) 我不明白的是，损失函数有时是正的，有时是负的。
浏览 51提问于2019-07-03得票数 0
1回答
我目前正在学习强化学习中的策略梯度下降。博士，我的问题是：“在理论和实践中，对报酬函数的限制是什么?对于下面的情况，什么是好的奖励函数？”。详细信息:我想实现一个神经网络，它应该学会使用策略梯度下降来玩一个简单的棋盘游戏。我将省略神经网络的细节，因为它们并不重要。策略梯度下降的损失函数，据我所知，它是负日志可能性：loss = - avg(r * log(p))
我现在的问题是如何定义奖励r？这只会抵消方程中的任何概
浏览 1提问于2018-06-29得票数 2
1回答
反向传播神经元网络
、、、、
我想通过反向传播来实现学习，并对这两种方法进行比较。问题只存在于反向传播中。我读过一些关于它的文章，但我还不明白如何在这个例子中使用它。我可能只是不明白。学习过程在这里是简单而清晰的。在没有上司的情况下学习。我能做些什么来实现反向传播。
浏览 1提问于2016-07-26得票数 0
1回答
我正在实验我的策略梯度强化学习算法，我想知道我是否可以使用类似于监督交叉熵的方法。因此，我不会使用现有的标签，而是为轨迹中的每一步生成一个标签。根据行动的价值，我会将随机策略(神经网络)输出转换为更有效的输出，并将其训练为交叉熵损失函数的标记。
动作示例:实际输出：0.2，0.8；值：-0.5；操作：1。
浏览 0提问于2019-10-04得票数 1
1回答
我已经试着理解这个机器学习问题很多天了，它真的使我困惑，我需要一些帮助。
我试图训练一个神经网络，它的输入是图像，并生成另一个图像作为输出(它不是一个很大的图像，它是8x8像素)。我有一个任意的fancy_algorithm()“黑匣子”函数，它接收网络的输入和预测(两个图像)，并输出一个浮点数，它告诉网络的输出有多好(计算损失)。我的问题是，我想训练这个神经网络，但使用黑匣子算法产生的损失。这个问题让我很困惑，我做了很多研究，但我没有发现很多，这似乎是强化学习，但同时我不确定，因为它不像一个代理人，但它
浏览 2提问于2020-05-06得票数 0
回答已采纳
我想要弄清楚政策梯度定理是什么意思。我的困惑在于强化学习中的奖励R在政策参数中是不可微的。在这种情况下，策略梯度的中心目标是如何找到奖励R的梯度--策略函数的参数--甚至是有意义的？
浏览 0提问于2019-02-26得票数 0
1回答
我已经看到了用于具有离散动作空间的强化学习任务的强化策略算法的多个实现。是否有针对连续动作空间的算法(或其他策略梯度算法)的实现？
浏览 1提问于2018-04-13得票数 2
1回答
我一直在尝试在强化学习中实现策略梯度算法。然而，在计算自定义损失函数的梯度时，我遇到错误“ValueError: No gradients provided for any variable:”，如下所示： loss = tf.multiply(log_prob, (-reward))我按如下方式计算梯度
浏览 6提问于2021-05-31得票数 0
深度确定性策略梯度()是动作空间连续时强化学习的最新方法。它的核心算法是。
然而，在阅读了论文和听了the talk ()之后，我仍然无法弄清楚确定性PG相对于随机PG的根本优势是什么。
浏览 64提问于2017-03-13得票数 12
1回答
我正在实现连续强化学习(用深度强化学习的连续控制)，但在优化策略-神经网络时遇到了一些问题。按照本文的建议，通过计算和跟踪梯度(梯度上升)，使策略的q值最大化:最大Q(状态，action=policy(状态))。当行动->无限时，Q->无穷大，这意味着策略的权重被优化到非常大或无限大的值。我计划将策略的输出限制在0,1，而不是线性输出层，但这似乎严重阻碍了优化过程，而且算法无法再学习好的
浏览 1提问于2017-04-29得票数 2
我有一个玩具强化学习项目，基于强化算法(这里的)，我想添加批量更新。在RL中，只有在“预测”完成之后才能创建“目标”，因此标准的批处理技术不适用。因此，我为每一集累积损失，并将它们附加到一个列表l_losses中，其中每个项目都是一个零维张量。考虑到这个损失列表，如何让PyTorch根据其平均梯度更新网络？或者，基于平均梯度的更新是否与对平均损失的更新相同(我似乎在其他地方看到了其他情况)？l_losses)创建一个新的张量torch.stack(l_
浏览 17提问于2022-09-24得票数 3
回答已采纳
2回答
例如，如何
对于国家，行动和奖励的例子为RL？我理解强化学习是指：(a)学习如何做，如何将情况描绘成行动；(b)从互动中学习，以及在这种情况下，从所有可能的行动/奖励中获得“有监督的培训”培训范例是不切实际的。
浏览 0提问于2021-11-24得票数 0
回答已采纳
1回答
我正在通过以下网站研究政策梯度：https://towardsdatascience.com/understanding-actor-critic-methods-931b97b6df3f
不知道第一个方程式是怎么变成第二个方程式的
浏览 0提问于2019-12-10得票数 3
我想知道是否有任何强化学习技术，可以学习如何玩一个游戏和一些策略，从它简单地分析由其他人玩，而不是自己玩它。
浏览 2提问于2020-05-26得票数 1
回答已采纳
批次大小是指在监督学习中接受神经工作训练的样本数，但是，在强化学习的背景下，批次大小的意义是什么？它也是指样品吗？如果是的话，在强化学习的背景下，样本的意义是什么？
浏览 0提问于2019-04-02得票数 3
回答已采纳
我的问题是，当我获取模型输出，然后调用模拟simulink调用并计算损失的函数时：intermediate_val我已经知道，如果我把模型的输出直接传递给损失函数，一切都很好。我的问题是，如何将模型的输出传递给另一个函数并使用返回的值计算损失？
浏览 7提问于2022-09-28得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
