学习率将wrt衰减为累积奖励？
学习率将wrt衰减为累积奖励是指在强化学习中，通过调整学习率的大小来平衡当前奖励和未来奖励的重要性。学习率衰减是一种策略，用于在训练过程中逐渐降低学习率的数值，以便在训练的后期更加关注累积奖励。
学习率衰减的目的是为了在训练初期更加关注当前的奖励，以便快速收敛到一个较好的策略。随着训练的进行，学习率逐渐减小，使得智能体更加关注未来的累积奖励，以便找到更优的策略。
这种衰减策略的优势在于可以平衡当前奖励和未来奖励的重要性，避免过分关注当前奖励而忽视了长期的累积奖励。通过适当调整学习率的大小，可以使得智能体在训练过程中更加稳定和高效地学习到最优策略。
学习率衰减在强化学习中有广泛的应用场景，特别是在需要长期规划和考虑未来奖励的任务中，如机器人控制、自动驾驶等。通过合理设置学习率衰减策略，可以提高智能体在复杂环境中的决策能力和性能。
腾讯云提供了一系列与强化学习相关的产品和服务，如腾讯云AI Lab、腾讯云强化学习平台等，可以帮助开发者进行强化学习算法的研究和应用。具体产品介绍和相关链接地址可以参考腾讯云官方网站的相关页面。
相关·内容
1回答
在深度强化学习中，有没有办法将学习率wrt衰减为累积奖励？我的意思是，当智能体能够学习并最大化奖励时，衰减学习率？
浏览 18提问于2020-06-18得票数 0
1回答
为什么打折奖励函数是反向的？
、、、、
我正在解决麻省理工学院强化学习实验室的问题，并被奖励函数卡住了。特定的代码块是：<code>C0</code>
相关代码的更简单版本是：
<code>A1</code>
它的输出为：
<code>A2</code>
提供的解释是，我们希望鼓励尽早获得奖励。在for循环中使用<code>D3</code>对此有何帮助？
浏览 28提问于2020-03-17得票数 1
回答已采纳
1回答
我正试图通过Keras，Python的强化学习来训练一个关于玩Tic脚趾的神经网络。当前，网络获取当前板的输入：
array([0,1,0,-1,0,1,0,0,0])
1 = X
-1 = O
0 = an empty field
如果网子赢了一场比赛，它的每一次动作(输出)都会得到奖励。[0,0,0,0,1,0,0,0,0]，如果网输了，我想用坏的奖励训练它。[0,0,0,0,-1,0,0,0,0]
但是目前我得到了很多0.000e-000的精确性。
我能训练一个“坏的奖励”吗？或者如果不能用-1来做它，我应该怎么做呢？
提前谢谢。
浏览 4提问于2020-01-04得票数 1
回答已采纳
2回答
在期间更新R(s)函数的合适方法是什么？例如，假设一个代理访问状态s1五次，并收到奖励0,0,1,1,0。我是否应该计算平均奖励，例如R(s1) = sum(0,0,1,1,0)/5？或者，我是否应该使用移动平均值，对该州最近收到的奖励值给予更大的权重？我读过的大多数关于Q学习的描述都将R(s)视为某种常量，似乎从未涵盖随着经验的积累如何随着时间的推移而学习这个值。
编辑:我可能混淆了Q-Learning中的R(s)和中的R(s，s')。问题仍然是相似的。在学习MDP时，更新R(s，s')的最佳方法是什么？
浏览 5提问于2011-07-18得票数 2
回答已采纳
1回答
DQlearning上的月球着陆器性能不佳，因此我试图通过优化参数来提高月球着陆器(dq学习)的性能。我可以调整哪一部分？有人能为我提供一些想法吗？添加更多层或更改激活类型或其他方法？？
以下是代码：
import numpy as np
import gym
import csv
from keras.models import Sequential
from keras.layers import Dense, Activation, Flatten
from keras.optimizers import Adam
from rl.agents.dqn import DQNAgent
浏览 0提问于2018-04-26得票数 1
回答已采纳
我对强化学习智能体训练是个新手。我已经阅读了PPO算法，并使用稳定基线库训练了一个使用PPO的智能体。因此，我的问题是如何评估一个训练有素的RL代理。考虑一个回归或分类问题，我有像r2_score或准确性等指标。有没有这样的参数，或者我如何测试智能体，得出智能体训练得好还是坏的结论。
谢谢
浏览 5提问于2019-10-30得票数 0
我试图训练一个强化学习智能体，使用Unity-ML来玩一个无休止的跑步游戏。
游戏很简单:障碍从侧面逼近，智能体必须在正确的时机跳过它。
作为观察者，我知道下一个障碍物的距离。可能的动作是0-空闲；1-跳跃。游戏时间越长，奖励越多。
不幸的是，智能体无法学会克服第一个可靠的障碍。我猜这是因为这两个动作的不平衡太高了，因为理想的策略应该是大多数时候什么都不做(0)，只在非常特定的时间点跳(1)。此外，跳跃期间的所有动作都是无意义的，因为智能体不能在空中跳跃。
我如何改进学习，使其仍然收敛？有什么建议要看一下吗？
当前培训师配置：
EndlessRunnerBrain:
gamma: 0.99
浏览 0提问于2018-07-15得票数 0
报酬工程是监督学习的重要组成部分：
提出特征是困难的，耗时的，需要专家的知识.“应用机器学习”基本上是特色工程。- Andrew Ng
然而，在RL中，手动调整奖励函数通常是不受欢迎的。我不知道为什么。
一个论点是，我们通常不知道RL问题的最佳解决方案是什么。因此，通过调整奖励函数，我们可以将agent偏向于我们认为是最好的方法，而实际上解决原来的问题是次最优的。这与监督学习不同，我们从一开始就知道我们想要优化什么。
另一个论点是，从概念上讲，将问题视为黑匣子更好，因为目标是开发尽可能通用的解决方案。然而，这个论点也可以用来指导学习！
我有遗漏什么吗？
浏览 0提问于2019-03-10得票数 3
1回答
Q-学习价值更新
、、、
我正在使用Q-学习算法进行设备的电源管理.该装置有两种电源模式，即空闲和休眠。当设备处于休眠状态时，处理请求被缓冲在队列中。Q-学习算法寻找最小的代价函数，这是一个加权和的即时功耗和延迟所引起的行动。
c(s,a)=lambda*p_avg+(1-lambda)*avg_latency
在每个状态下，学习算法采取一个动作(执行超时值)，并评估在下一个状态下所采取行动的效果(使用上述公式)。这些操作是通过从预定义的超时值池中执行某些超时值来执行的。上述方程中的参数lambda是一个幂性能参数(_<lambda<1).它定义了算法是应该寻找节能(lambda->1)还是寻找最小化
浏览 2提问于2012-08-08得票数 2
1回答
我想开发一个使用强化学习的数学测验程序。假设我们手头有1000个问题，每个测验要问25个问题。程序必须从用户回答和提出下一个问题的方式中学习，而不是随机提问。
测验程序应该是一种强化学习智能体。如何设计解决方案?要使用哪些强化学习技术？示例: BoT:什么是机器人1:用户:3(错误答案) 5+：问了一个简单的问题，或者正确答案问了一个困难的问题。
浏览 0提问于2018-12-31得票数 0
我想在tensorflow2.0的SGD优化器中降低学习率，我使用了下面这行代码：
lr_schedule = tf.keras.optimizers.schedules.ExponentialDecay(
initial_learning_rate=self.parameter['learning_rate'],
decay_steps=(1000),
decay_rate=self.parameter['lr_decay']
)
opt = tf.keras.optim
浏览 0提问于2019-11-11得票数 9
1回答
我一直在玩一种算法，学习如何玩tictactoe。基本的伪码是：
repeat many thousand times {
repeat until game is over {
if(board layout is unknown or exploring) {
move randomly
} else {
move in location which historically gives highest reward
}
}
for each step in the game {
determine board layo
浏览 0提问于2018-03-10得票数 10
回答已采纳
1回答
强化学习-驱动到路标点
、、、
我在玩电脑游戏中的自动驾驶汽车。我正在考虑使用强化学习，并给汽车在地图上的位置，以到达。奖励将是距离道路点的一个函数，如果车祸的话，会有一些非常负面的东西。
不过，我真的不知道该如何在系统中添加路径点。我用汽车的相机输入作为模型的输入，我可以根据它的当前位置和路径点来计算奖励。但我不想让车开到同一个地方.我想给它一个路标，让它在不撞到任何东西的情况下开车去那里。
如何将路径点和当前位置合并到状态/模型中？
浏览 0提问于2019-02-12得票数 1
回答已采纳
1.我使用IntelliJ IDEA构建了一个maven项目，代码如下：
System.out.println("Load data....");
SentenceIterator iter = new LineSentenceIterator(new File("/home/zs/programs/deeplearning4j-master/dl4j-test-resources/src/main/resources/raw_sentences.txt"));
iter.setPreProcessor(new SentencePrePr
浏览 2提问于2015-09-11得票数 1
1回答
因此，我想为一个强化学习模型编写一个奖励函数，它选择要向客户展示的产品。每种产品都有一定的利润率。
价格较高的产品有较高的利润率，但被购买的可能性较低。价格较低的产品利润率较低，但被购买的可能性较高。
目标是保持平均5%的产品销售利润率，同时最大限度地实现总收入。
写这个奖励函数的最好方法是什么？
浏览 0提问于2021-10-16得票数 0
回答已采纳
1回答
早上好，在Q-学习中，代理人采取行动，直到达到他们的目标.该算法执行多次，直至收敛。例如，目标是在时间模拟结束之前获得最大吞吐量。仿真时间被划分为n个等周期T，且报酬随时间而变化。因此，代理在每个时间段更新其状态的次数为n次。在这种情况下，n被认为是步骤或迭代的次数？此外，Q值的更新是在执行所选的操作之后还是在执行之前完成的(使用奖励函数，它是对实际报酬的近似)？如果你能回答我的问题，我将不胜感激。
浏览 3提问于2016-12-01得票数 0
回答已采纳
我很好奇它是如何做的，因为我有兴趣做一些类似的事情。我有一些手动转录的数据，其中包含多个发言者的标签。我想比较开箱即用的ASR (Google，AWS转录)如何能够使扬声器(或简单的词识别和转录音频与多个扬声器)。我想把它和我所拥有的真实数据进行比较，并想出一个比较的指标。
我可以使用Levenshtein距离或类似于Ratcliff的相似性作为度量。但我正在努力学习是否有一种更标准的方法来做到这一点？
浏览 0提问于2020-10-20得票数 2
回答已采纳
2回答
为什么我的模型不学习？极高损失
、、、、
我建立了一个模拟模型，卡车收集垃圾箱的基础上，他们的填充水平。我使用OpenAi健身房和Tensorflow/keras创建了我的深层强化学习模型。但我的训练损失很大..。我哪里出错了？提前感谢
这是环境局
class Marltf(Env):
def __init__(self):
self.i= 0
self.containers1 = Container(3,3)
self.containers2 = Container(1,3)
self.containers3 = Container(3,1)
浏览 1提问于2022-03-22得票数 1
回答已采纳
当我在youtube上观看大卫·西尔弗的强化学习课程(以及幻灯片：)时，我发现“奖励”和“价值功能”真的令人困惑。
我试着理解幻灯片(P11)上的“给予奖励”，但我不明白为什么会这样。例如，“1: r= -2”但"Pub: r= +1“
为什么对班级的负报酬和对Pub的积极奖励？为什么不同的值
如何用折扣率计算报酬？(P17和P18)
我认为，缺乏强化学习的直觉是我遇到这种问题的主要原因。
所以，如果有人能给我一点提示，我会非常感激的。
浏览 0提问于2019-05-30得票数 1
回答已采纳
1回答
我一直在学习ethereum，但是现在被关于阻塞时间和陈旧块的冲突的想法困住了。这是我所理解的，如果我错了，请纠正我。
比特币封锁时间- 10分钟-
这样，浪费计算散列的概率就在10%左右，这是可以管理的。
封闭时间- 15至19秒-现在，即使在这段时间内出现陈腐的块，他们被划分为叔叔块，可以接受到七代。
因此，对于比特币，只有第一个可接受的块才会得到奖励，其余的陈旧块都会被丢弃。
然而，对于以太来说，我不能把我的头围绕在这上面。即使每15秒添加一次过时的块，这不是为块链添加了不必要的非功能块吗？在此，以任何方式阻碍它的表现？还是这些大叔块确实提供了一些功能？
例如，如果添加了5个块，而每个
浏览 0提问于2018-08-30得票数 1
回答已采纳
我正在尝试创建一个强化学习代理，可以买卖或持有股票头寸。我遇到的问题是，即使在超过2000集之后，代理商仍然无法了解何时买入、卖出或持有。这是第2100集的一张图片，详细说明了我的意思，除非是随机的，否则智能体不会采取任何行动。
代理使用重放内存学习，我已经反复检查了没有错误。以下是代理的代码: import numpy as np import tensorflow as tf import random from collections import deque from .agent import Agent
class Agent(Agent):
def __init__(self,
浏览 6提问于2018-07-30得票数 0
2回答
在搜索中，搜索结果的位置对点击率影响很大.人们通常如何处理这件事？在实践中，如何消除这种偏倚，为训练创造无偏见的训练数据，学习到排名模型？
浏览 0提问于2018-03-22得票数 5
我的Q-学习常春藤目前选择了“次优”选项，而不是最好的选择。
from pprint import pprint
from random import shuffle, choice, random
from operator import itemgetter
epsilon = .03 # Exploration
gamma = .9 # Learning rate
epochs = 100000 # Number of matches vs itself
states = {}
WON = 1
LOSE = 0
TIE = 0.5
COLS = 3
ROWS = 3
SIZ
浏览 0提问于2018-10-12得票数 2
1回答
我很难理解蒙特卡罗政策评估算法。我读到的是，G是第一次访问某一特定州(比方说s1 )后的平均回报。这是否意味着将该状态s1之后的所有奖励平均到事件结束，然后将结果值分配给s1？或者，这是否意味着在s1中采取多个事件的平均动作所获得的即时奖励？
浏览 3提问于2017-03-16得票数 0
回答已采纳
1回答
我想为Chrome恐龙游戏(当你离线时可以玩的游戏)实现Q-学习。
我把我的状态定义为:到下一个障碍的距离、速度和下一个障碍物的大小。
对于奖励，我想用成功通过的障碍的数量，但可能会发生相同的州有不同的即时奖励。同样的障碍可能会在稍后的比赛中再次出现，但是传球的奖励会更高，因为更多的障碍已经通过了。
我现在的问题是:这是一个问题，还是Q学习仍然有效？如果没有，还有更好的办法吗？
浏览 0提问于2017-04-15得票数 1
回答已采纳
2回答
Q学习(多目标)
、、、、
我刚刚开始研究Q-learning，并且看到了使用Q-learning来解决我的问题的可能性。
问题:我应该检测特定的数据组合，我有四个矩阵作为我系统的输入，我已经对输入进行了分类(每个输入可以是Low (L)或High (H) )。我需要检测某些类型的输入，例如LLLH、LLHH、HHHH等
注: 1)LLLH表示L中的第一个输入，第二个输入是L，第三个输入是L，第四个输入是H！2)我已经将每种输入类型标记为状态，例如LLLL是状态1，LLLH是状态2，依此类推。
我在Q学习中研究的是，大多数时候你有一个目标(只有一个状态作为目标)，这使得智能体更容易学习并从R矩阵创建Q矩阵。现在，在我的问
浏览 6提问于2013-11-15得票数 2
我正在向网格世界实施Q-学习，以找到最优的策略。困扰我的一件事是，状态转换是随机的。例如，如果我处于状态(3,2)并采取‘北方’行动，我将以0.8的概率降落在(3,1)，以0.1的概率降至(2,2)，以0.1的概率降至(4,2)。如何在算法中加入这些信息？正如我目前所读到的，Q-学习是一种“无模式”的学习--它不需要知道状态转换的概率。对于该算法如何在训练过程中自动找到这些过渡概率，我并不信服。如果有人能把事情弄清楚，我会很感激的。
浏览 1提问于2016-08-31得票数 4
我在macosx平台上使用gcov进行覆盖测试。我通过set完成xcode的配置：
1. Build Settings ==> Generate Test Coverage Files == Yes
2. Build Settings ==> Instrument Progaram Flow == Yes
3. Build Phases ==> Link Binary with library ==> add "libprofile_rt.dylib"
然后生成"Test.d, Test.dia, Test.gcno, Test.gcda,
浏览 3提问于2013-03-25得票数 9
背景:我设置了一个简单的DialogFlow来实现两个目的。设置为v1接口并将webhook设置为故障服务器。我使用glitch.com托管一些js来收集信息(由用户请求)。
切换到api的v2打破了这一点。我发现的所有例子都是使用firebase，而不是你自己的服务器来托管java脚本，这就是为什么我卡住了，希望有人能指引我在没有firebase的情况下在v2中从google assistant获取/返回数据的正确方向。
请参阅下面的代码
// init project pkgs
const express = require('exp
浏览 0提问于2018-10-27得票数 0
1回答
我试图理解Q学习的基本逻辑(更精确地说，深层Q学习)。目前，我对未来回报的观念束手无策。
为了理解逻辑，我正在回顾一些当前的代码示例。这个似乎很有趣，所以我看了一遍：
https://github.com/keon/deep-q-learning/blob/master/dqn.py
下面是对深层神经网络进行实际训练的代码要点：
def replay(self, batch_size):
minibatch = random.sample(self.memory, batch_size)
for state, action, reward, next_state, done i
浏览 0提问于2018-04-05得票数 1
回答已采纳
1回答
我一直在研究强化学习中的马尔可夫性质，这被认为是该领域的重要假设之一。它说，在考虑未来的可能性时，我们只考虑当前的状态和行动，而不是过去的状态和行动。当我们考虑给定未来状态/行动的概率时，不能忽略未来状态/行动的一个重要推论，因为它在计算当前概率时有很有价值的信息。
我不理解第二次发言。从未来事件的角度来看，目前的事件似乎是这个未来事件的过去。那我们为什么要考虑这个过去的事件呢？
浏览 3提问于2022-09-23得票数 -1
1回答
我试图更好地理解梯度积累是如何工作的，以及为什么它是有用的。为此，我想问一问，这两种可能的具有梯度积累的自定义训练循环的PyTorch类实现之间有什么区别(如果有的话)：
gradient_accumulation_steps = 5
for batch_idx, batch in enumerate(dataset):
x_batch, y_true_batch = batch
y_pred_batch = model(x_batch)
loss = loss_fn(y_true_batch, y_pred_batch)
loss.backward()
if (bat
浏览 18提问于2021-12-23得票数 3
回答已采纳
1回答
在使用广义时间差分(例如SARSA，Q学习)的任何标准强化学习算法中，出现了对于特定任务的λ和gamma超参数使用什么值的问题。
我知道lambda与资格跟踪的长度有关，gamma可以解释为对未来奖励的折扣程度，但是我如何知道对于给定的任务，我的lambda值太低，或者我的gamma值太高？
我意识到这些问题没有明确的答案，但了解一些具有不适当值的“危险信号”将非常有用。
以标准的任务为例。我应该将gamma设置为高，因为它需要许多步骤才能使任务失败，还是应该设置为低，因为状态信息完全为？我甚至不能理解lambda值的合理性...
浏览 0提问于2013-06-27得票数 7
回答已采纳
1回答
不变的奖励如何帮助训练？
、、、、
我是机器学习的新手，我正试图用Q-学习来解决MountainCar-v0问题.我现在可以解决这个问题，但我仍然很困惑。
根据的说法，即使汽车已经到达目的地，每一步都会得到1英镑的奖励。不变奖励如何帮助代理学习？如果每一步都给出相同的奖励，代理人又如何判断这是一个好的一步还是一次坏的一步？
提前感谢！
浏览 0提问于2018-04-30得票数 1
回答已采纳
1回答
我正在寻找稳定我的DQN的结果，我发现剪辑是一种技术，但我没有完全理解它！
1-裁剪奖励、裁剪梯度、裁剪稳定性误差的效果是什么?如何使结果更加稳定？
2-在DQN的性质上，它写了他们裁剪奖励？请你再解释一下好吗？
3-哪一种方法在稳定性方面更有效？
浏览 0提问于2018-09-30得票数 6
1回答
将动作识别重新定义为强化学习问题
、、、、
考虑到强化学习方面的重大进展，我想知道是否有可能将诸如动作识别、目标跟踪或图像分类等问题转化为强化学习问题。
浏览 0提问于2018-06-04得票数 2
回答已采纳
对于购物车杆子平衡问题，我想知道为什么这么多用于控制器的强化学习实现都有一个奖励函数，每当杆子倒下时奖励-1，而对于杆子保持直立的每个时间步奖励0。
如果倒下立即产生与平衡一分钟后倒下的奖励相同的奖励，这将如何训练系统？
浏览 0提问于2021-04-07得票数 0
1回答
我现在正试图实现一个人工智能玩家使用Q-学习来玩两个不同的随机玩家。
我不确定Q-学习是否适用于鲁多游戏，这也是为什么我对它有点怀疑的原因。
我已经为游戏定义了11个州。每个状态是根据其他参与者的位置来定义的。
我可能的动作是6，(受骰子的限制)。
理论上，我可以有四种不同的状态(每个Ludo令牌一种)，它们可以执行骰子选择的动作，但是我只会选择移动Q(s，a)最高的令牌，并改变动作。
我不明白的是，在更新阶段会发生什么。
我知道我用新的值更新了以前的值？
基于wiki提供的更新如下：
我不明白的是，奖励价值与旧价值有何不同？它是如何定义的?对于矩阵中的这些值，它有何不同？
浏览 0提问于2016-05-19得票数 3
回答已采纳
1回答
在综合投押合同中，甚至在以下来自智能合同程序员的简单的赌注契约中，有几个参数控制着报酬的分散，即rewardRate和rewardPerToken。
完整法典：
// SPDX-License-Identifier: MIT
pragma solidity ^0.8;
contract StakingRewards {
IERC20 public rewardsToken;
IERC20 public stakingToken;
uint public rewardRate = 100;
uint public lastUpdateTime;
uin
浏览 0提问于2022-03-17得票数 1
回答已采纳
1回答
获取指向c++中数组的指针的副本
、、、、
嗨，我正在学习C++入门，有一个简单的问题。请帮帮我。
所以我知道"int *p = (*q) 10“，其中p是指向10的数组的指针。问题是，在函数定义中："void print(int (*q)10)”，其中这个指针是一个参数。我怎么才能拿到那个指针的副本。这会是"int *p = q“吗？
从技术上讲，我不知道如何在C++中测试我的正确性。
谢谢
浏览 2提问于2015-10-21得票数 0
我正在尝试为一个控制系统编写一个自适应控制器，即使用Q学习的电源管理系统。我最近为手推车-杆子系统实现了一个玩具RL问题，并从Andrew‘s的笔记中计算出了直升机控制问题的公式。我理解在这种情况下，值函数近似是势在必行的。然而，这两个流行的例子都有非常少的可能的离散操作。我有三个问题：
1)如果您没有少量的离散操作，那么处理此类问题的正确方式是什么？我的行为和状态的维度似乎已经爆炸，学习看起来非常糟糕，这就引出了我的下一个问题。
2)如何衡量我的座席的绩效？由于奖励随着动态环境的变化而变化，因此在每个时间步，我都不能决定我的连续RL代理的性能指标。与网格问题不同的是，由于存在巨大的状态-动作
浏览 0提问于2016-04-07得票数 1
1回答
制定奖励结构
、、、、
我对强化学习和训练强化学习智能体的实验都很陌生。
我对奖励公式持怀疑态度，在给定的状态下，如果智能体采取了良好的行动，我会给予积极的奖励，如果行动不好，我会给予消极的奖励。因此，如果我给智能体非常高的积极奖励时，它采取了良好的行动，例如100倍的积极价值与消极奖励相比，它会帮助智能体在培训期间？
直觉上，我觉得这将有助于培训代理，但这种倾斜的奖励结构会有什么缺点吗？
浏览 11提问于2019-11-26得票数 0
克拉肯(kraken.com)于12月28日宣布将关闭其在日本的服务。所有帐户将被关闭，任何剩余的资金将需要从政府收回。
从12月28日开始，他们的支持一直在说“等待宣布该做什么”，他们在2023年1月31日关门，所以时间不多了。
我怎么才能控制那个虚空呢？
在他们的界面上没有任何选择，从这里读到，在它被移动之前，Ethereum需要被解除赌注。
电子邮件全文：
你好，名字，我们想通知您，经过适当考虑，Kraken已决定从2023年1月31日起停止在日本的业务，并从金融服务局取消注册。这一决定是Kraken在那些与我们的战略相一致的领域的资源和投资的优先次序努力的一部分，并将使Kraken获
浏览 0提问于2023-01-22得票数 0
1回答
我正在实验我的策略梯度强化学习算法，我想知道我是否可以使用类似于监督交叉熵的方法。因此，我不会使用现有的标签，而是为轨迹中的每一步生成一个标签。
根据行动的价值，我会将随机策略(神经网络)输出转换为更有效的输出，并将其训练为交叉熵损失函数的标记。
动作示例:实际输出：0.2，0.8；值：-0.5；操作：1。创建标签：0.3，0.7
我的方法行不通，我很想知道为什么。
浏览 0提问于2019-10-04得票数 1
2回答
基于强化学习的神经网络训练
、、、、
我知道前馈神经网络的基本知识，以及如何使用反向传播算法来训练它们，但我正在寻找一种比我能用来训练神经网络的强化学习的算法。
例如，问题是我想用人工神经网络解决的问题。在这种情况下，我不知道应该做什么来控制钟摆，我只知道我离理想的位置有多近。我需要让安在奖惩的基础上学习。因此，监督学习不是一种选择。
另一种情况类似于，在这种情况下，反馈被延迟，只限于目标和反目标，而不是奖励。
对于第一种情况，我可以想到一些算法，比如爬山或遗传算法，但我猜它们都会很慢。它们也可能适用于第二种情况，但速度慢得令人难以置信，不利于在线学习。
我的问题很简单：是否有一个简单的算法来训练带有强化学习的人工神经网络？我主要
浏览 1提问于2012-05-23得票数 67
回答已采纳
2回答
调试增强型算法的指南？
、、、
我实现了一个自我批评的策略梯度(如描述的这里)，用于文本摘要。
然而，在训练后，成绩并不像预期的那么高(实际上低于没有RL.)。
我正在寻找关于如何调试基于RL的算法的一般指南.
我试过：
对小数据集(~6个样本)的过度拟合:我可以增加平均报酬，但不收敛。有时，平均回报会再次下降。
改变学习速度:我改变了学习速度，并看到了它对小数据集的影响。从我的实验中，我选择了相当大的学习率(0.02和1e-4在论文中)。
观察平均报酬是如何随着训练而演变的(在完整的数据集上)：平均报酬明显不会移动。
浏览 0提问于2019-08-05得票数 2
1回答
所以现在我用了2名矿工，我租了1.06GH/s来开采Ethereum。它说，每两个月，我应该找到一个街区独舞11k奖励。池挖掘，如果池现在找到了一个块，我就会得到.55eth。它从来没有说，当一个游泳池找到一个街区，我需要挖掘一个池的日常支出，以便我可以继续购买同样的哈希力。我的问题是，在游泳池里找一个街区需要多长时间？外面有比2名矿工更好的游泳池吗？我使用的唯一其他池(在过去的3天中)是反池以获得ltc+doge。
哦，我的游戏结束是继续投资每日收益，并收回区块。当我有足够的时候，我将购买一个asic机器，为任何一个或gpus，以挖掘不同的硬币。
浏览 0提问于2021-04-21得票数 0
1回答
我试图使用Q-学习了解地雷行为的一个谨慎版本的马特巴克兰的智能扫地器，原来在这里可用的，为一项任务。该分配限制我们在一个有效的40x40网格上移动2000年的50次迭代，每次迭代都在一个随机位置重新设置地雷和代理。
我尝试用移动的惩罚、清除地雷的奖励和没有击中地雷的惩罚来执行Q学习。清除器代理似乎无法学习如何在50次迭代中有效地清除地雷，因为它知道去特定的单元是好的，但是在一个地雷消失之后，它不再得到奖励，而是因为使用移动成本而受到惩罚。
我只想尝试提供奖励，只有当所有的地雷被清除，试图使环境静止，因为只有一个状态，不是所有的地雷收集，或所有的地雷收集，但我努力实现这一点，因为代理人只有200
浏览 4提问于2019-10-09得票数 1
1回答
我正在尝试写一个强化学习算法，为了简单起见，它将预测一个我认为通过n个输入的数字，它们是什么并不重要。所以当算法预测一个数字时，我只会说“非常近”“接近”“精确”“远”“太远”
现在我看过的所有教程都有一个可以量化的结果，他们通常会做均方误差来看看预测中有多少误差。但是这里的反馈是无法量化的。
我该如何解决这个问题？仅供参考，我是ML的新手，它没有必要是强化学习。我也尝试过神经网络方法，但即使这样也有类似的问题。
浏览 1提问于2018-05-12得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
