matlab倒立摆强化学习训练

里使用的学习方法是actor-critic：

Actor（玩家）：为了得到尽量高的reward，实现一个函数：输入state，输出action。用神经网络来近似这个函数。目标任务就是如何训练神经网络，让它的表现更好（得更高的reward）。这个网络被称为actor Critic（评委）：为了训练actor，需要知道actor的表现到底怎么样，根据表现来决定对神经网络参数的调整。这就要用到强化学习中的“Q-value”、但Q-value也是一个未知的函数，所以也可以用神经网络来近似。这个网络被称为critic。

只有重力的情况是这样的

Actor-Critic的训练： Actor看到游戏目前的state，做出一个action。 Critic根据state和action两者，对actor刚才的表现打一个分数。 Actor依据critic（评委）的打分，调整自己的策略（actor神经网络参数），争取下次做得更好。 Critic根据系统给出的reward（相当于ground truth）和其他评委的打分（critic target）来调整自己的打分策略（critic神经网络参数）。 一开始actor随机表演，critic随机打分。但是由于reward的存在，critic评分越来越准，actor表现越来越好。

ccc

% 获取环境

env = CartPoleEnv;

% 获取可观察的状态

obsInfo = getObservationInfo(env);

% 获取可观察的状态维度

numObservations = obsInfo.Dimension(1);

% 获取可执行的动作

actInfo = getActionInfo(env);

rng(0)

%% 学习网络设置

criticNetwork = [

imageInputLayer([4 1 1],'Normalization','none','Name','state')

fullyConnectedLayer(32,'Name','CriticStateFC1')

reluLayer('Name','CriticRelu1')

fullyConnectedLayer(1, 'Name', 'CriticFC')];

criticOpts = rlRepresentationOptions('LearnRate',1e-2,'GradientThreshold',1);

critic = rlRepresentation(criticNetwork,obsInfo,'Observation',{'state'},criticOpts);

%%

actorNetwork = [

imageInputLayer([4 1 1],'Normalization','none','Name','state')

fullyConnectedLayer(32, 'Name','ActorStateFC1')

reluLayer('Name','ActorRelu1')

fullyConnectedLayer(2,'Name','action')];

actorOpts = rlRepresentationOptions('LearnRate',1e-2,'GradientThreshold',1);

actor = rlRepresentation(actorNetwork,obsInfo,actInfo,...

'Observation',{'state'},'Action',{'action'},actorOpts);

%%

agentOpts = rlACAgentOptions(...

'NumStepsToLookAhead',32,...

'EntropyLossWeight',0.01,...

'DiscountFactor',0.99);

agent = rlACAgent(actor,critic,agentOpts);

%%

trainOpts = rlTrainingOptions(...

'MaxEpisodes',1000,...

'MaxStepsPerEpisode', 500,...

'Verbose',false,...

'Plots','training-progress',...

'StopTrainingCriteria','AverageReward',...

'StopTrainingValue',444,...

'ScoreAveragingWindowLength',10);

%% 并行学习设置

trainOpts.UseParallel = true;

trainOpts.ParallelizationOptions.Mode = "async";

trainOpts.ParallelizationOptions.DataToSendFromWorkers = "gradients";

trainOpts.ParallelizationOptions.StepsUntilDataIsSent = 32;

env.show=0;% 关闭图像显示

trainingStats = train(agent,env,trainOpts);

%%

env.show=1;% 打开图像显示

plot(env)

% 运行一次500步

simOptions = rlSimulationOptions('MaxSteps',500);

experience = sim(env,agent,simOptions);

totalReward = sum(experience.Reward);