【MADRL】多智能体信任域策略优化（MA-TRPO）算法

不去幼儿园

发布于 2024-12-03 13:18:44

3680

本篇文章是博主强化学习RL领域学习时，用于个人学习、研究或者欣赏使用，并基于博主对相关等领域的一些理解而记录的学习摘录和笔记，若有不当和侵权之处，指出后将会立即改正，还望谅解。文章分类在强化学习专栏：【强化学习】（13）---《多智能体信任域策略优化（MA-TRPO）算法》

多智能体信任域策略优化（MA-TRPO）算法

1. 背景介绍

信任域策略优化（Trust Region Policy Optimization, TRPO）是一种单智能体强化学习算法，通过限制策略更新的范围来保证稳定的性能提升。TRPO 在理论上保证了策略更新时的单调改进，但直接将其应用到多智能体场景时并不适用。多智能体信任域策略优化（Multi-Agent Trust Region Policy Optimization, MA-TRPO）就是一种专门针对多智能体环境的优化算法，旨在解决多智能体环境中的策略优化问题。

多智能体信任域策略优化（MA-TRPO）算法最早是在 2020 年由 Hepeng Li 和 Haibo He 提出，旨在扩展传统的信任域策略优化（TRPO）算法，使其能够适应多智能体强化学习（MARL）的复杂环境。该算法通过将策略更新过程转化为分布式共识优化问题，使多个智能体在不需要共享彼此的观测和奖励信息的情况下，独立优化各自的策略。

MA-TRPO 的关键优势在于，它允许智能体只通过与邻居共享概率比来进行训练，从而保护隐私并减少通信开销。实验表明，MA-TRPO 在合作任务中表现出较强的鲁棒性，并能够在复杂的多智能体任务中取得较好的性能。

如果你想深入研究这篇论文，相关文献见：Multi-Agent Trust Region Policy Optimization

2. MA-TRPO 算法的核心思想

MA-TRPO 是 TRPO 的一种扩展，专门用于多智能体环境。其核心思想是通过为每个智能体设计单独的策略优化过程，同时考虑智能体之间的相互影响和策略的协作性。该算法的主要目标是在多智能体环境中，保证每个智能体的策略更新时不仅能够获得个体的性能提升，同时还能促进整体团队的协调性和性能提升。

MA-TRPO 的核心思路可以总结为以下几点：

局部策略优化：每个智能体都有其独立的策略，但策略更新时需要考虑其他智能体的行为和策略。这种局部优化过程通过约束更新步长来避免策略的剧烈变化，保证稳定性。
联合优化目标：虽然每个智能体都有自己的目标函数，但在多智能体场景中，每个智能体的奖励和损失函数通常受到其他智能体策略的影响。MA-TRPO 在优化时会考虑这种相互依赖关系，定义一种联合的优化目标。
信任域限制：MA-TRPO 继承了 TRPO 的信任域限制思想，通过约束每次策略更新的“信任域”来保证策略优化过程中的稳定性。具体地，MA-TRPO 通过引入 KL 散度约束来限制策略更新的范围，避免过大的策略变化导致性能下降。

3. MA-TRPO 的算法步骤

MA-TRPO 的整体流程可以分为以下几个步骤：

1 初始化

为每个智能体

初始化策略网络

和价值网络

，这里

和

是每个智能体的策略和价值网络的参数。

设置学习率和信任域限制的超参数，例如 KL 散度约束。

2 数据收集

在环境中让每个智能体按照各自的策略

进行交互，收集状态

、动作

、奖励

和下一状态

的数据。

记录每个智能体在一轮交互中的所有轨迹

(\tau = (s_0, a_0, r_0, s_1, a_1, r_1, \dots))

。

3 计算优势函数

对于每个智能体

，利用当前的价值网络

计算优势函数

。优势函数可以通过以下公式计算：

[ A_{\pi_{\theta_i}}(s_t, a_i) = Q_{\pi_{\theta_i}}(s_t, a_i) - V_{\phi_i}(s_t) ]

其中

是动作值函数，可以通过累计未来的回报值来估计：

[ Q_{\pi_{\theta_i}}(s_t, a_i) = \sum_{t'=t}^{T} \gamma^{t'-t} r_{t'} ]

是折扣因子，

是从

时刻到未来的累计奖励。

4 策略优化（TRPO 步骤）

使用信任域策略优化（TRPO）的核心思想来优化每个智能体的策略。核心的目标是最大化策略的期望回报，同时保证策略更新步长受到约束。优化目标可以表示为：

[ \max_{\theta_i} \mathbb{E}{\pi{\theta_i}}\left[ \frac{\pi_{\theta_i}(a_i|s)}{\pi_{\theta_i^{\text{old}}}(a_i|s)} A_{\pi_{\theta_i^{\text{old}}}}(s, a_i) \right] ]

其中，

(\frac{\pi_{\theta_i}(a_i|s)}{\pi_{\theta_i^{\text{old}}}(a_i|s)})

是策略的概率比值（importance sampling ratio），即当前策略和旧策略的比值。(

A_{\pi_{\theta_i^{\text{old}}}}(s, a_i))

是根据旧策略计算的优势函数。这个优化问题的约束是：

[ D_{\text{KL}}(\pi_{\theta_i^{\text{old}}} || \pi_{\theta_i}) \leq \delta ]

这里

是 KL 散度，

是一个预设的小值，确保策略更新的步长不会太大，保证更新的稳定性。

使用共轭梯度法求解这个优化问题，更新策略参数

。

5 策略同步

每个智能体独立更新自己的策略参数

后，可以将更新后的策略共享或同步到全局环境，视具体任务而定（在协作任务中可能会同步，在竞争任务中可能会保持独立）。

6 重复训练

重复步骤 1.2 - 1.5，直到达到预定的训练回合数或满足终止条件。

4. MA-TRPO 的优点和挑战

优点：

稳定性：通过信任域限制（如 KL 散度约束），MA-TRPO 保证了策略更新过程的稳定性，避免了策略的剧烈变化。
适应性强：能够处理多智能体环境中个体间的相互依赖和复杂互动。
性能提升：实验表明，在多智能体强化学习任务中，MA-TRPO 相较于传统的策略优化方法（如单智能体的 PPO、TRPO）能够获得更好的整体性能。

挑战：

计算复杂度：由于每个智能体的策略更新需要考虑其他智能体的策略和相互作用，计算复杂度较高。
通信开销：在分布式的多智能体系统中，每次策略更新后的同步过程可能会带来较大的通信开销。
收敛性问题：在某些高度非平稳和竞争性的环境下，智能体之间的相互影响可能导致策略难以收敛，需要特别的机制来保证收敛性。

5. 应用场景

MA-TRPO 算法适用于以下场景：

多智能体协作任务：如无人机群协同搜索和救援、机器人集群的任务分配和执行等。
竞争环境：如多智能体博弈、竞争性游戏、智能交通系统中的多车道驾驶控制等。
复杂模拟环境：如智能电网调度、多智能体金融市场模拟、社会网络中的多方博弈等。

6. 结论

多智能体信任域策略优化（MA-TRPO）算法通过引入信任域约束，结合多智能体环境的特点，有效解决了多智能体强化学习中的策略优化问题。该算法在保证策略稳定性的同时，提升了整体系统的性能，是多智能体强化学习领域中的一种有前景的方法。未来的发展可能会集中在降低计算复杂度、减少通信开销以及改进收敛性等方面。

[Python] MA-TRPO伪代码

# 初始化每个智能体的策略 π_θi 和价值函数 V_ϕi
# 设置信任域约束的超参数 δ (例如 0.01)

# 初始化每个智能体的策略参数 θ_i 和价值函数参数 ϕ_i
for each agent i do
    initialize policy network π_θi and value network V_ϕi
    initialize learning rates, KL divergence threshold δ
end for

# 迭代进行训练，直到达到预设的训练回合数
for each iteration do

    # 收集数据
    for each agent i do
        initialize empty list of trajectories τ_i
        for each episode do
            reset environment and get initial state s_0
            while not done do
                # 每个智能体根据当前策略选择动作
                for each agent i do
                    select action a_i ~ π_θi(a_i | s)  # 根据当前策略选择动作
                end for
                # 执行动作并观察新的状态、奖励和终止标志
                take actions a = (a_1, a_2, ..., a_N) in environment
                observe next state s_, reward r_i for each agent i, and done
                store (s, a, r, s') in τ_i  # 将数据存储到轨迹列表中
                s = s'  # 更新状态
            end while
        end for
    end for

    # 计算优势函数和目标
    for each agent i do
        # 计算每个状态的价值估计 V_ϕi(s) 和优势函数 A_πθi(τ_i)
        compute returns G_t from collected trajectories τ_i
        compute value estimates V_ϕi(s) for each state in τ_i
        compute advantage estimates A_πθi(s_t, a_i) = G_t - V_ϕi(s_t)

        # 优化价值网络：最小化均方误差（MSE）
        update ϕ_i by minimizing MSE loss L_V(ϕ_i) = (G_t - V_ϕi(s_t))^2
    end for

    # 策略更新
    for each agent i do
        # 计算目标函数 L(θ_i) 并使用共轭梯度法优化
        compute policy gradient ∇L(θ_i) using collected data τ_i
        # 计算 Fisher 信息矩阵，用于共轭梯度法
        compute Fisher information matrix F
        # 使用共轭梯度法求解更新步长
        solve for step direction d using conjugate gradient: F * d = ∇L(θ_i)
        # 计算最大步长大小
        compute step size α using line search to satisfy KL constraint
        # 更新策略参数 θ_i = θ_i + α * d
        update policy network parameters θ_i = θ_i + α * d
    end for

    # 策略同步或更新
    if applicable: synchronize updated policies or update global parameters
end for