MATLAB调用pygame实现强化学习环境

01

环境准备

前面我们已经能够通过MATLAB调用Python操作键鼠，也在MATLAB环境中建立简单的环境来训练强化学习模型，比如matlab倒立摆环境建模，现在我们需要稍稍复杂的环境，如果在MATLAB中从零开始搭建游戏环境耗时费力，一顿搜索之后也没发现可以利用的游戏m程序，试图通过调用python的gym库时遇到很大难题解决不了，底层pyglet库更是相当底层，想要扩展或者模仿也很有难度，所以我们选用pygame库来实现游戏环境，网上有很多开源的小游戏实现，还有个将pygame游戏包装成为强化学习环境的PLE库

下面就来准备环境

首先安装python(推荐使用Anaconda)

新建虚拟python环境(不建也行)

切换国内pip安装源

pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/

安装numpy

pip install numpy

安装pygame

pip install pygame

安装pillow

pip install pillow

这里有已经打包好的PLE库

链接：https://pan.baidu.com/s/1S2wqde4K5IxCFXwMteUzxA

提取码：255q

下载解压后在ple-0.0.1.tar.gz所在的文件夹下打开命令行执行

pip install ple-0.0.1.tar.gz

然后把assets.zip解压复制到python.exe所在路径上一级文件夹下面的Lib\site-packages\ple\games\flappybird里面

这样几步我们就可以开始训练这只小鸟了

02

继承MATLAB的ENV

按照前面的在MATLAB中建立环境方法，引入python对象实现各个函数

classdef FlappyBirdEnv < rl.env.MATLABEnvironment

%FlappyBirdEnv: matlab的FlappyBird环境.

%% 属性设置

properties

show=true;

% pygame环境对象

p

% 初始状态

State

% python的actions对象list

actions

end

properties(Access = protected)

% 结束标记

IsDone = false

end

%% 必须的方法

methods

% 构造方法

function this = FlappyBirdEnv()

ple=py.importlib.import_module("ple");

PLE=ple.PLE;

FlappyBird=ple.games.flappybird.FlappyBird;

rewards = py.dict(pyargs('tick',0.01,'positive',1,'negative',-5));

game = FlappyBird(pyargs('width',uint8(200), 'height',uint8(400)));

p = PLE(game, pyargs('fps',uint8(30),'force_fps',false, ...

'display_screen',true,'reward_values',rewards));

p.init()

% 初始设置观察状态

observations = p.getGameState();

ObservationInfo = rlNumericSpec([int64(py.len(observations)) 1]);

% 设置动作

actions = p.getActionSet();

ActionInfo = rlFiniteSetSpec(double(1:int64(py.len(actions))));

% 继承系统环境

this = this@rl.env.MATLABEnvironment(ObservationInfo,ActionInfo);

% 初始化、设置

this.State=zeros(int64(py.len(actions)),1);

this.actions=actions;

this.p=p;

notifyEnvUpdated(this);

end

% 一次动作的效果

function [Observation,Reward,IsDone,LoggedSignals] = step(this,Action)

LoggedSignals = [];

action = getAction(this,Action);

Observation = cellfun(@double,struct2cell(struct(this.p.getGameState())));

this.State = Observation;

IsDone = this.p.game_over();

this.IsDone = IsDone;

% 计算reward

Reward = this.p.act(action);

notifyEnvUpdated(this);

end

% 环境重置

function InitialObservation = reset(this)

this.p.reset_game()

InitialObservation = cellfun(@int64,struct2cell(struct(this.p.getGameState())));

this.State = InitialObservation;

notifyEnvUpdated(this);

end

end

%% 可选函数、为了方便自行添加的

methods

% 动作转换

function force = getAction(this,action)

force=this.actions(py.int(action-1));

end

end

methods (Access = protected)

% 收到绘图通知开始绘图的方法

function envUpdatedCallback(this)

% 设置是否需要绘图

this.p.display_screen=int8(this.show);

end

end

end

03

测试环境

建立环境之后需要测试一下

% 获取环境

env = FlappyBirdEnv;

% 获取可观察的状态

obsInfo = getObservationInfo(env);

% 获取可观察的状态维度

numObservations = obsInfo.Dimension(1);

% 获取可执行的动作

actInfo = getActionInfo(env);

% 获取可执行的动作维度

numActions = length(actInfo.Elements);

rng(0)

% env.show=false;

for i=1:100

if env.p.game_over()

env.reset();

end

env.step(randi(numActions));

end

由于是随机执行动作，小鸟很快就撞墙了

接下来要做的就是建立强化学习模型，训练小鸟更多的穿越障碍水管了

PLE库在这里https://github.com/ntasfi/PyGame-Learning-Environment

pygame文档在这里https://www.pygame.org/docs/