<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:media="http://search.yahoo.com/mrss/"><channel><title>MARL on Bless Blog</title><link>https://blog.hieros.me/zh/tags/marl/</link><description>Recent content in MARL on Bless Blog</description><generator>Hugo -- 0.166.0</generator><language>zh</language><lastBuildDate>Sat, 06 Dec 2025 17:00:00 +0800</lastBuildDate><atom:link href="https://blog.hieros.me/zh/tags/marl/index.xml" rel="self" type="application/rss+xml"/><item><title>MARL综述阅读</title><link>https://blog.hieros.me/zh/posts/marl_theory/</link><pubDate>Sat, 06 Dec 2025 17:00:00 +0800</pubDate><author>BLESS</author><guid>https://blog.hieros.me/zh/posts/marl_theory/</guid><description>偏理论的MARL综述阅读</description><content type="text/html" mode="escaped"><![CDATA[<h1 id="多智能体强化学习理论与算法选讲">多智能体强化学习：理论与算法选讲<a href="#%e5%a4%9a%e6%99%ba%e8%83%bd%e4%bd%93%e5%bc%ba%e5%8c%96%e5%ad%a6%e4%b9%a0%e7%90%86%e8%ae%ba%e4%b8%8e%e7%ae%97%e6%b3%95%e9%80%89%e8%ae%b2" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h1>
<p>这篇是Arxiv上的一篇综述论文，主要介绍了多智能体强化学习的理论与算法，因为在看了几篇MARL新的文章之后发现根基不稳，需要补一些理论基础和其他算法的知识，所以挑了一篇比较经典的。看着挺难读，正文就有47页，引用文献数量达383，写的很不错可惜有点早了2021年的。
注意部分内容是我补充上去的，部分内容也有所修改，虽然严谨性可能大打折扣，但是至少比原文好读，方便自己之后查阅。
论文地址： <a href="https://arxiv.org/abs/1911.10635" target="_blank" >https://arxiv.org/abs/1911.10635</a>
这里贴上作者的github页面，确实是行业内的专家，譬如这篇论文被引就达2k
<a href="https://kzhang66.github.io/" target="_blank" >https://kzhang66.github.io/</a>
有一点很重要，笔记的定义为是半翻译半讲述，其中有相关专业术语翻译不一定准确的会标出英文原文。
对于 distributed 翻译为分布式，decentralized 翻译为去中心，fully decentralized 翻译为分散式</p>
<h2 id="摘要">摘要<a href="#%e6%91%98%e8%a6%81" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<p>MARL 的理论在上世纪就提出来了，但是直到单智能体有所突破才重新焕发生机，现在的 MARL 虽然验证效果不错，但是理论相对薄弱，作者强调他们只是选择性讲了一些理论：重点聚焦有理论支撑的算法体系。把任务分为三类，分别是完全合作任务、完全竞争任务和混合任务。问题建模框架主要选择讲马尔可夫/随机博弈和扩展形式博弈（Extensive-Form Games）。涉及一些新颖的视角和分类体系例如：扩展式博弈中的学习、网络化智能体的去中心（Decentralized）学习、平均场（Mean Field）框架下的多智能体学习、博弈学习中策略梯度方法。</p>
<h2 id="介绍">介绍<a href="#%e4%bb%8b%e7%bb%8d" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<p>MARL 致力于解决多个自主智能体在共同环境中的序贯决策（Sequential Decision-Making）问题——每个智能体都通过与环境及其他智能体的交互，来优化自身长期回报。
总得来说，MARL 根据应用场景分为三类：完全合作任务——智能体协作优化共同的长期回报；竞争场景——智能体的回报通常为零和或常和；混合任务——智能体的回报通常为一般和（就是除去前两种和的类型之外的最一般的回报类型），对 MARL 问题建模需要 “优化理论，动态规划，博弈论，去中心控制” 等多种理论工具，但是不同理论在建模中遇到的问题是有共性的，譬如：学习目标多维，即不同智能体间目标不一定一致，很难处理均衡点（是指均衡点的多重性等问题）；优化结果外的其他性能也不好衡量，例如通信效率或者说协调效率，对潜在的对抗性智能体的鲁棒性；由于每个智能体都根据自身利益同步优化策略，导致对于单个智能体而言环境呈现非平稳性，（平稳性和非平稳性简单地可以理解为，如果时序数据，其主要统计量与时间无关即为平稳的，若与时间有关则为非平稳的）这打破了单智能体的理论框架；联合动作空间会随智能体数量增加呈现指数级增长，可能引发扩展性问题，称为 <strong>MARL 的组合复杂性</strong>；MARL中的信息结构（即智能体间的信息分布）更为复杂，由于每个智能体对其他智能体观测信息的获取受限，可能导致局部决策规则陷入次优困境。
研究者们致力于解决上述挑战，结合深度学习、运筹学和多智能体系统等领域的最新进展，涌现出诸多创新性研究成果。然而，这些成果普遍缺乏坚实的理论基础——单智能体深度强化学习的理论体系尚未成熟，多智能体场景的复杂性又进一步加剧了理论分析的难度。为此，作者系统梳理了具有理论保证的 MARL 算法，撰写此综述以明确当前研究的边界，并为该领域的未来发展提供方向性指引。
作者选择重点阐述离散时间框架下的两类代表性建模范式：扩展形式博弈和马尔科夫或者说随机博弈。也总结到现有的新视角与新的分类体系：基于作者的早期研究的智能体网络化分布式 MARL ；引入均值场博弈体系作为超大规模智能体群体的解决方案；优化理论新突破对策略梯度类方法收敛性（特别是零和博弈场景）的理论启示。作者甚至评述了部分观测场景下的 MARL 研究（未采用深度强化学习作为启发式解决方案）。</p>
<h2 id="背景">背景<a href="#%e8%83%8c%e6%99%af" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<h3 id="单智能体">单智能体<a href="#%e5%8d%95%e6%99%ba%e8%83%bd%e4%bd%93" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>RL 中，智能体通过与环境交互进行序贯决策，环境通常被建模为无限时域折扣马尔可夫决策过程。
定义： 马尔可夫决策过程（MDP）由一个五元组 \((\mathcal{S}, \mathcal{A}, P, R, \gamma)\) 定义，其中 \(\mathcal{S}\) 与 \(\mathcal{A}\) 分别表示状态空间与动作空间；\(P: \mathcal{S} \times \mathcal{A} \to \Delta(\mathcal{S})\) 表示在动作 \(a \in \mathcal{A}\) 作用下，从任意状态 \(s \in \mathcal{S}\) 转移到任意状态 \(s' \in \mathcal{S}\) 的转移概率；\(R: \mathcal{S} \times \mathcal{A} \times \mathcal{S} \to \mathbb{R}\) 为奖励函数，决定智能体在从 \((s, a)\) 转移到 \(s'\) 时获得的即时奖励；\(\gamma \in [0, 1)\) 为折扣因子，用于权衡即时与未来奖励。
作为标准模型，MDP 被广泛用于刻画在完全可观测系统状态 \(s\) 下的单智能体决策过程。每个时刻 \(t\)，智能体面对系统状态 \(s_t\) 选择动作 \(a_t\)，使系统转移到 \(s_{t+1} \sim P(\cdot \mid s_t, a_t)\)，同时获得即时奖励 \(R(s_t, a_t, s_{t+1})\)。求解 MDP 的目标是找到一个策略 \(\pi: \mathcal{S} \to \Delta(\mathcal{A})\)，即将状态空间映射到动作空间的分布，使得 \(a_t \sim \pi(\cdot \mid s_t)\)，并最大化如下折扣累计奖励：</p>
$$
\mathbb{E}\!\left[ \sum_{t \ge 0} \gamma^{t} R(s_t, a_t, s_{t+1}) \,\middle|\, a_t \sim \pi(\cdot \mid s_t),\, s_0 \right].
$$<p>因此，可定义策略 \( \pi \) 下的动作价值函数（ Q 函数）与状态价值函数（ V 函数）为</p>
$$
Q_\pi(s, a) = \mathbb{E}\!\left[ \sum_{t \ge 0} \gamma^{t} R(s_t, a_t, s_{t+1}) \,\middle|\, a_t \sim \pi(\cdot \mid s_t), a_t = a, s_0 = s \right],
$$<p>
</p>
$$
V_\pi(s) = \mathbb{E}\!\left[ \sum_{t \ge 0} \gamma^{t} R(s_t, a_t, s_{t+1}) \,\middle|\, a_t \sim \pi(\cdot \mid s_t), s_0 = s \right].
$$<p>对任意 \(s \in \mathcal{S}\) 与 \(a \in \mathcal{A}\)，上述两个量分别表示从 \((s_0, a_0) = (s, a)\) 与 \(s_0 = s\) 出发的折扣累计回报（从当前状态 \( s \) ，采取动作 \( a \) 之后的折扣累计回报是 Q 函数，衡量状态动作对的预期回报，从当前状态 \( s \) 之后的折扣累计回报是 V 函数，衡量状态的预期回报，两者均由贝尔曼方程导出）。对应于最优策略 \(\pi^*\) 的两者通常分别称为最优动作价值函数与最优状态价值函数。
利用马尔可夫性质，最优策略可以通过动态规划或者说向后归纳的方法，例如价值迭代与策略迭代算法，获得。这类方法需要已知模型信息，即转移概率以及奖励函数的形式。而强化学习旨在在未知模型的条件下找到这样的最优策略，智能体可以通过与环境交互收集的经验来学习策略。
总的来说，RL 算法大致可以分为两大类：基于价值的方法与基于策略的方法。</p>
<h3 id="基于价值的方法">基于价值的方法<a href="#%e5%9f%ba%e4%ba%8e%e4%bb%b7%e5%80%bc%e7%9a%84%e6%96%b9%e6%b3%95" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>基于价值的强化学习方法旨在求得状态动作价值函数的良好估计，即最优 \(Q\) 函数 \(Q_{\pi^*}\)。随后可以通过对该 \(Q\) 函数估计采取贪心动作来提取（近似）最优策略。
最常见的价值类算法是 Q-learning ，其中智能体维护对 \(Q\) 值函数的一个估计 \(\hat Q(s, a)\)。当从状态-动作对 \((s, a)\) 转移到下一状态 \(s'\) 时，智能体获得回报 \(r\)，并按如下规则更新 Q 函数：
</p>
$$
\hat Q(s, a) \leftarrow (1 - \alpha)\hat Q(s, a) + \alpha\big[r + \gamma \max_{a'} \hat Q(s', a')\big],
$$<p>基于最优贝尔曼方程。其中 \(\alpha > 0\) 是步长或称学习率，\( \gamma \) 乘的是下一状态所有可能动作中 \(Q\) 值最大的动作（对应“最优动作”假设）。在满足 Robbins–Monro 步长条件、每个状态-动作对被无限访问、回报有界且 \(\gamma < 1\) 的前提下，Q-learning 在有限状态与动作空间中几乎必然收敛到最优 \(Q\) 值函数。因此与深度神经网络结合就有了 DQN、DDQN、Dueling DQN、Rainbow DQN，在雅达利游戏中的测试表现良好。
还有 SARSA ，与 Q-learning 更新方式略有不同：
</p>
$$
\hat Q(s, a) \leftarrow (1 - \alpha)\hat Q(s, a) + \alpha\big[r + \gamma \hat Q(s', a')\big],
$$<p>基于策略贝尔曼方程，优化当前策略 \(\pi\) 下的动作价值函数 \(Q_\pi(s, a)\)，其中 Q-learning 的最大化项被换成下一个状态和动作的 \(Q\) 值（\(a'\) 由当前策略选出）。其收敛性通常要求 GLIE（Greedy in the Limit with Infinite Exploration）：在保证每个状态-动作对被无限访问的同时，探索强度随时间递减并最终趋于贪心；再配合 Robbins–Monro 步长条件与有界回报，即可在有限空间下收敛。SARSA 相比 DQN 系列更稳健，因为它为同策略学习，不使用“最乐观”的最大化估计，降低了过估计风险。
还有 MCTS（蒙特卡洛树搜索），通过蒙特卡洛模拟构建搜索树来进行近似规划；树策略用于在搜索中平衡探索与利用。常见做法是将 UCB1 应用于树的每个节点（UCT），或采用带先验的 PUCT。MCTS 本身不必使用 DNN，但在 AlphaGo/AlphaZero 等方法中，MCTS 与策略和价值网络结合以提升搜索质量。
强化学习中与 \(Q\) 函数相关的还有策略评估任务：给定策略 \(\pi\)，评估其好坏，本质上是估计其值函数（\(V_\pi(s)\) 或 \(Q_\pi(s, a)\)）。可以使用 TD 学习（例如 TD(0)）：
</p>
$$
V(s) \leftarrow V(s) + \alpha\big[r + \gamma V(s') - V(s)\big],
$$<p>
对于表格或线性函数的值函数，满足适当的步长条件与平稳马尔可夫过程假设时，TD(0) 收敛到投影贝尔曼固定点；但在非线性函数逼近下一般不保证收敛，因此需额外的正则化或算法设计（如目标网络、经验回放等）。</p>
<h3 id="基于策略的方法">基于策略的方法<a href="#%e5%9f%ba%e4%ba%8e%e7%ad%96%e7%95%a5%e7%9a%84%e6%96%b9%e6%b3%95" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>另一类强化学习算法直接在策略空间上进行搜索，策略通常由参数化的函数逼近器（如神经网络）估计，逼近器目标是近似 \(\pi(\cdot \mid s) \approx \pi_\theta(\cdot \mid s)\)。因此，最直接的思路是沿长期回报的梯度方向更新参数，这一思想由策略梯度（PG）方法实现。其关键前提是 PG 的闭式表达式：
</p>
$$
\nabla J(\theta)
= \mathbb{E}_{\,a\sim \pi_\theta(\cdot \mid s),\, s \sim \eta_{\pi_\theta}} \big[\, Q_{\pi_\theta}(s, a)\, \nabla \log \pi_\theta(a \mid s) \,\big],
$$<p>其中 \(J(\theta)\) 与 \(Q_{\pi_\theta}\) 分别是策略 \(\pi_\theta\) 下的期望回报与 \(Q\) 函数；\(\nabla \log \pi_\theta(a \mid s)\) 是策略的得分函数（对数概率的梯度），即把“在状态 \(s\) 选择动作 \(a\)”这件事的概率往更大/更小推的方向；\(\eta_{\pi_\theta}\) 是策略 \(\pi_\theta\) 下的状态占用测度，可以认为是状态在策略下的概率分布，区别在于如果状态占用测度没有折扣，那么它就是状态在策略下出现的概率分布，与初始状态无关，只考虑长期来看，每个状态在策略下出现的概率分布，如果状态占用测度是折扣形式，那么它会和初始状态相关，并且其概率会随乘时间步的折扣，这会使概率分布具有时间偏见性。
有策略参数的更新规则：
</p>
$$
\theta \leftarrow \theta + \alpha \nabla J(\theta),
$$<p>其中 \(\alpha > 0\) 是步长/学习率。
根据 PG 的计算方式不同可划分为两类：随机 PG 与确定 PG。
对于随机 PG：REINFORCE 用蒙特卡洛的似然比或者得分函数来估计梯度，常配合基线降低方差；GAE 从 GPOMDP 获得灵感通过 \(\lambda\) 加权的优势时序差分在偏差和方差间折中；Actor–Critic 由 Critic 估值 \(V\) 或者 \(Q\)，Actor 按优势 \(A\) 更新，依靠 TD bootstrap 做到低方差的在线训练；TRPO 以 KL 约束的置信域更新保证步长稳定、近似单调改进；PPO 用剪裁的替代目标近似 TRPO，同时引入GAE，结构更简洁、效果稳健。SAC 基于最大熵强化学习框架，将策略熵 \(\mathcal{H}(\pi(\cdot\mid s))\) 纳入目标函数（鼓励策略输出的多样化），采用重参数化技巧实现随机策略的稳定更新（将动作表示为状态和独立噪声的确定性函数：\(a_t = f_\phi(\epsilon_t; s_t)\)，其中 \(\epsilon_t \sim \mathcal{N}(0, I)\)，使得梯度可以通过整个计算图反向传播，显著降低策略梯度的方差），配合&quot;双重 \(Q\) 网络&quot;（同时学两个独立的 Q 网络，取最小值以减少过估计）与 \(\alpha\) 自动调节机制，表现稳定、样本效率好。
对于确定 PG，动作不再是概率分布，而是确定动作，其 PG 形式为：
</p>
$$
\nabla J(\theta)
= \mathbb{E}_{\,s \sim \eta_{\pi_\theta}} \Big[\, \nabla_\theta \pi_\theta(s)\; \nabla_a Q_{\pi_\theta}(s, a)\Big|_{a=\pi_\theta(s)} \,\Big].
$$<p>这表示：用链式法则将”动作对参数的敏感度”与”价值对动作的敏感度”相乘，并在 \(a=\pi_\theta(s)\) 处取值；不再出现 \(\nabla \log \pi_\theta(a\mid s)\) 的得分函数项（那是随机策略的形式）。
确定 PG 的开山之作为 DPG：首次提出了确定性策略梯度原理，方差更低且支持 off-policy；DDPG 把 DPG 做成 Actor–Critic，用 DNN 逼近策略和价值，并借助经验回放、目标网络与 OU 噪声提升稳定性与探索；TD3 针对 DDPG 的过估计问题，引入三个关键改进：双重 Critic 网络（取两个 \(Q\) 网络的最小值以减少过估计）、延迟策略更新（Actor 更新频率低于 Critic，增强稳定性）和目标策略平滑化（在目标动作上添加噪声以提高鲁棒性）。</p>
<h3 id="多智能体">多智能体<a href="#%e5%a4%9a%e6%99%ba%e8%83%bd%e4%bd%93" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>多智能体与单智能体相比，首先是系统状态的演变过程受到所有智能体联合行动的影响；最重要的问题是，每个智能体所要优化的自己的长期奖励函数也会收到所有其他智能体策略的影响。
MARL 可以由两种不同的框架建模，马尔可夫/随机博弈和扩展形式博弈，（虽然不能用来建模，但是认知科学和神经科学的研究也对MARL有重要影响）</p>
<h4 id="马尔可夫随机博弈">马尔可夫/随机博弈<a href="#%e9%a9%ac%e5%b0%94%e5%8f%af%e5%a4%ab%e9%9a%8f%e6%9c%ba%e5%8d%9a%e5%bc%88" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h4>
<p>在多智能体交互设定下，直接的思路是，把马尔可夫决策过程推广为马尔可夫博弈，或称随机博弈（应该说随机博弈定义更加宽泛，马尔可夫博弈要求随机博弈必须满足马尔可夫性质，但是实际建模中随机博弈通常被建模为马尔可夫博弈）。
马尔可夫博弈定义：马尔可夫博弈由一个元组 \((N, S, \{A_i\}_{i\in N}, P, \{R_i\}_{i\in N}, \gamma)\) 所定义。其中，\(N = \{1, \cdots, N\}\) 表示 \(N > 1\) 个智能体的集合；\(S\) 为所有智能体共同观察到的状态空间；\(A_i\) 为第 \(i\) 个智能体的动作空间。令 \(A := A_1 \times \cdots \times A_N\)，则 \(P: S \times A \to \Delta(S)\) 表示在任一联合动作 \(a \in A\) 下，从任一状态 \(s \in S\) 转移到任一状态 \(s' \in S\) 的转移概率；\(R_i: S \times A \times S \to \mathbb{R}\) 为奖励函数，决定了从 \((s, a)\) 转移到 \(s'\) 时智能体 \(i\) 获得的即时奖励；\(\gamma \in [0, 1)\) 为折扣因子。
在时间 \(t\)，每个智能体 \(i \in N\) 会根据系统状态 \(s_t\) 执行动作 \(a_i^t\)（所有智能体同时执行动作）。随后系统转移到状态 \(s_{t+1}\)，并依据 \(R_i(s_t, a_t, s_{t+1})\) 对每个智能体 \(i\) 给予奖励，其中联合动作 \(a_t \in A\)。智能体 \(i\) 的目标是寻找策略 \(\pi_i: S \to \Delta(A_i)\) 且 \(a_i^t \sim \pi_i(\cdot \mid s_t)\)，使自身的长期回报最大，\( \Delta \) 表示概率单纯形即所有状态上动作的概率分布的集合。
此时，智能体 \(i\) 的状态价值函数 \(V_i: S \to \mathbb{R}\) 成为联合策略的函数。假设每个智能体在动作选择上是独立的，即智能体间策略是独立的，联合策略 \(\pi: S \to \Delta(A)\) 定义为
</p>
$$
\pi(a \mid s) := \prod_{i\in N} \pi_i(a_i \mid s).
$$<p>特别地，对于任一联合策略 \(\pi\) 与状态 \(s \in S\)，定义智能体 \(i\) 在状态 \(s\) 下的状态价值函数为：
</p>
$$
V_i^{\pi_i,\pi_{-i}}(s)
:= \mathbb{E}\Big[ \sum_{t \ge 0} \gamma^t\, R_i(s_t, a_t, s_{t+1}) \,\Big|\, a_i^t \sim \pi_i(\cdot \mid s_t),\; s_0 = s \Big],
$$<p>其中 \(-i\) 表示除智能体 \(i\) 外的所有智能体的索引集合，该公式定义了当智能体 \(i\) 在状态 \(s\) 下遵循策略 \(\pi_i\)，而其他智能体（用下标 \(-i\) 表示）遵循策略 \(\pi_{-i}\) 时，智能体 \(i\) 的期望累计折扣回报。
由此可见，马尔可夫博弈的解概念有别于马尔可夫决策过程：某个智能体的最优表现不仅受其自身策略影响，也受到其他玩家选择的共同作用。最常见的解概念是纳什均衡简称 NE ，其定义如下：
纳什均衡定义：对于马尔可夫博弈 \((N, S, \{A_i\}_{i\in N}, P, \{R_i\}_{i\in N}, \gamma)\)，一个联合策略 \(\pi^* = (\pi_1^*, \cdots, \pi_N^*)\) 若满足对任意 \(s \in S\) 与任意 \(i \in N\)，
</p>
$$
V_i^{\pi_i^*,\,\pi_{-i}^*}(s) \;\ge\; V_i^{\pi_i,\,\pi_{-i}^*}(s), \quad \forall\, \pi_i,
$$<p>则称 \(\pi^*\) 为该博弈的纳什均衡。纳什均衡刻画了一个无人有激励单边偏离的平衡点：对任意智能体 \(i \in N\)，\(\pi_i^*\) 是对 \(\pi_{-i}^*\) 的最优响应（任何智能体都无法只改变自己的策略获得更优的利益，所有智能体都没有动机改变自己的策略）。作为 MARL 的标准学习目标，NE 在有限状态/动作空间、无限时域且折扣的 MG 中总是存在，但一般不保证唯一。大多数 MARL 算法的目标是当 NE 存在时收敛到这样的平衡点。马尔可夫博弈框架足够通用，可以统一覆盖多种 MARL 设定。</p>
<p><strong>完全合作设定下：</strong></p>
<p>在完全合作的设定下，所有智能体通常共享同一个奖励函数，即 \(R_1 = R_2 = \cdots = R_N = R\)。该模型在 AI 社区被称为多智能体 MDP（MMDPs），在控制或者博弈论社区则被称为马尔可夫团队或者马尔可夫团队博弈（ Markov teams/team Markov games）。此外，从博弈论视角看，这一合作设定也可视为马尔可夫势博弈（ Markov potential games ）的特殊情形，其中势函数为共享的累计回报。
在此设定下，各智能体的 \( V \) 函数与 \(Q\) 函数相同；若所有智能体能够被协调为“单一决策者”，则可直接应用单智能体强化学习算法。合作设定的全局最优解是马尔可夫博弈的一个纳什均衡。
除共享奖励模型外，另一类更一般的合作 MARL 模型则考虑团队平均奖励，智能体可以拥有不同（且可保持私有）的奖励函数，而合作的目标是优化与平均奖励对应的长期回报，其中平均奖励定义为
</p>
$$
\bar{R}(s,a,s') := \frac{1}{N}\sum_{i\in N} R_i(s,a,s'), \quad (s,a,s') \in S \times A \times S.
$$<p>平均奖励模型不仅支持更强的智能体异构性，还能保护智能体间的隐私，促进了去中心化MARL算法的发展。这种异构性特征进一步强化了将通信协议整合到多智能体强化学习中的必要性，推动了通信高效MARL算法的研究。</p>
<p><strong>完全竞争设定下：</strong></p>
<p>在完全竞争设定下，MARL 通常建模为零和马尔可夫博弈，即对任意 \((s,a,s')\)，都有 \(\sum_{i\in N} R_i(s,a,s') = 0\)。为便于算法分析与计算可行性，大多数文献聚焦于两个相互对抗的智能体，此时一方的奖励即为另一方的损失。除了直接用于博弈类应用外，零和博弈亦常用作鲁棒学习的模型：学习中的不确定性可视作始终与智能体对立的“虚拟对手”，此时，纳什均衡对应的策略在最坏情形的长期回报意义下是鲁棒的，即假设对手（即环境）总是会以最凶险的方式对付你的前提下，所能保证的最坏设定下的最好结果。</p>
<p><strong>混合合作竞争设定下：</strong></p>
<p>混合设定亦称一般和（general-sum）博弈，对智能体的目标与关系不作限制。每个智能体是自利的，其奖励可能与他者冲突。博弈论中的均衡解概念（如纳什均衡）对该设定下算法的发展影响最为显著。此外，同时包含完全合作与完全竞争的设定——例如两个零和竞争团队，且每个团队内智能体合作——也可视为混合设定的实例。</p>
<h4 id="扩展形式博弈extensive-form-games">扩展形式博弈（Extensive-Form Games）<a href="#%e6%89%a9%e5%b1%95%e5%bd%a2%e5%bc%8f%e5%8d%9a%e5%bc%88extensive-form-games" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h4>
<p>尽管马尔可夫博弈是 MARL 的经典形式，但它只能处理完全可观测情形，即智能体在时刻 \(t\) 对系统状态 \(s_t\) 与已执行的联合动作 \(a_t\) 拥有完备信息。与此同时，诸多 MARL 应用涉及仅部分可观测的智能体，即不完备信息的博弈。虽然将马尔可夫博弈扩展到部分可观测情形（Dec-POMDP）但即使是在完全合作的情况下求解难度也极大。
相较而言，扩展形式博弈能够更自然地刻画不完备信息的多智能体决策；该框架源于计算博弈论，并在温和条件（某些不是很严格的条件下）下可用多项式时间（时间复杂度是多项式）算法求解。
扩展形式博弈定义：一个扩展形式博弈由 \((N \cup \{c\}, H, Z, A, \{R_i\}_{i\in N}, \tau, \pi_c, S)\) 定义，其中 \(N = \{1, \ldots, N\}\) 表示 \(N>1\) 个智能体的集合，\(c\) 是称为“机会/自然”的特殊智能体，其固定的随机策略 \(\pi_c\) 代表环境中的随机性。\(A\) 是所有可能动作的集合，\(H\) 是所有可能的历史集合，每个历史是自博弈开始以来的动作序列。记 \(A(h) = \{\, a \mid ha \in H \,\}\) 为非终止历史 \(h\) 之后可用的动作集合。若一个智能体在历史 \(h \in H\) 下采取动作 \(a \in A(h)\)，则到达新历史 \(ha \in H\)。在所有历史中，\(Z \subseteq H\) 是终止历史的子集，表示博弈结束；每个智能体 \(i \in N\) 在终止历史上的回报由 \(R_i: Z \to \mathbb{R}\) 给出（注意扩展博弈没有单步回报，其效用只在终止历史上给定）。并且 \(\tau: H \to N \cup \{c\}\) 是识别函数，指定每个历史上由谁执行动作：若 \(\tau(h) = c\)，则机会智能体按其策略选择 \(a \sim \pi_c(\cdot \mid h)\)。此外，\(S\) 将 \(H\) 划分为不相交的子集，使得对任意 \(s \in S\) 以及其中任意 \(h, h' \in s\)，都有 \(\tau(h) = \tau(h')\) 且 \(A(h) = A(h')\)。换言之，属于同一分区的历史对即将行动的智能体而言不可区分（扑克牌，出牌者手里的牌一致的设定下，对方的牌可能是任何一种设定，这表明历史不同，但是对于出牌者而言，不知道对手的牌具体是哪种设定）；\(S\) 的元素 \( s \) 称为信息状态。
直观地说，不完备信息体现在智能体无法区分同一信息状态中的不同历史。为简化记号，对任意 \(s \in S\) 与其中任意 \(h \in s\)（任意一个分区的任意一段历史），记 \(A(s) := A(h)\)、\(\tau(s) := \tau(h)\)（智能体无法判定自己处于哪段历史，只能判定自己处于哪个信息状态，所以它对于一个历史的动作可以认为是对这个信息状态的动作，对于该由谁行动也可以基于信息状态判定），并定义映射 \(I: H \to S\)，满足当且仅当 \(h \in s\) 时 \(I(h) = s\)。仅考虑 \(H\) 与 \(A\) 为有限集的情形。对任意两个历史 \(h, h' \in H\)，若从 \(h\) 经过一串动作可到达 \(h'\)，则称 \(h\) 是 \(h'\) 的前缀，记为 \(h \sqsubseteq h'\)；同时称 \(h'\) 是 \(h\) 的后缀。另外假设博弈满足完美回忆，即每个智能体记得导致其当前信息状态的历史中的信息状态-动作序列。由著名的 Kuhn 定理（在满足 “完美回忆” 的有限扩展形式博弈中，对于任何一个智能体，其任何混合策略都存在一个收益等价（即对所有其他智能体都产生相同期望回报）的行为策略）可知，在完美回忆下，只需在行为策略中寻找纳什均衡；行为策略把每个信息状态 \(s \in S\) 映射为其可行动作集合上的概率分布（意思是只需要按照当前的信息状态执行策略就可以囊括所有可能的复杂策略，大大减少了策略的搜索范围）。
对任意 \(i \in N\)，令 \(S_i := \{\, s \in S : \tau(s) = i \,\}\) 为智能体 \(i\) 的信息状态集合。联合策略记为 \(\pi = (\pi_1, \ldots, \pi_N)\)，其中 \(\pi_i : S_i \to \Delta(A(s))\) 是智能体 \(i\) 的策略。对任意历史 \(h\) 及联合策略 \(\pi\)，定义在 \(\pi\) 下到达历史 \(h\) 的到达概率为
</p>
$$
\eta_\pi(h)
= \prod_{\,h':\, h'a \sqsubseteq h} \pi^{\tau(h')}\!\big(a \,\big|\, I(h')\big)
= \prod_{\,i \in N \cup \{c\}} \;\prod_{\substack{h':\, h'a \sqsubseteq h \\ \tau(h') = i}} \pi^i\!\big(a \,\big|\, I(h')\big)
$$<p>它刻画在所有智能体遵循 \(\pi\) 时生成历史 \(h\) 的概率。类似地，信息状态 \(s\) 的到达概率记为 \(\eta_\pi(s) = \sum_{h \in s} \eta_\pi(h)\)。智能体 \(i\) 的期望回报为
</p>
$$
R_i(\pi) = \sum_{z \in Z} \eta_\pi(z) \cdot R_i(z).
$$<p>现在给出扩展形式博弈的解概念，即 \(\varepsilon\)-纳什均衡：
\(\varepsilon\)-纳什均衡定义：对于由 \((N \cup \{c\}, H, Z, A, \{R_i\}_{i\in N}, \tau, \pi_c, S)\) 表示的扩展形式博弈，若存在联合策略 \(\pi^* = (\pi_1^*, \cdots, \pi_N^*)\)，使得对任意 \(i \in N\) 与任意策略 \(\pi_i\)，</p>
$$
R_i(\pi_i^*, \pi_{-i}^*) \;\ge\; R_i(\pi_i, \pi_{-i}^*) - \varepsilon,
$$<p>则称 \(\pi^*\) 为一个 \(\varepsilon\)-纳什均衡。这里 \(\pi_{-i}\) 表示集合 \(N\setminus \{i\}\) 中各智能体的联合策略（其中 \(j \in N\setminus\{i\}\) 的策略为 \(\pi_j\)）。若 \(\varepsilon = 0\)，则 \(\pi^*\) 构成一个纳什均衡。由于 \(\varepsilon\)-纳什均衡相对纳什均衡更加宽松，因此，\(\varepsilon\)-纳什均衡通常被视为一种解概念。
多种设定：
扩展形式博弈通常用于刻画非合作设定。具体地，若效用满足零和或者常和，即 \(\sum_{i\in N} R_i = k\)（其中 \(k\) 为常数），则对应完全竞争设定；一般和的效用则对应混合设定。主要是，不同的信息结构都可以可用扩展形式博弈来描述：完备信息博弈指每个信息集都是单点集，即对任意 \(s \in S\)，\(|s| = 1\)；不完备信息博弈指存在 \(s \in S\) 使得 \(|s| > 1\)。换言之，在不完备信息下，用于决策的信息状态 \(s\) 代表多个可能的历史，智能体无法区分它们。众多设定中，零和的不完备信息设定一直是连接 MARL 与广义形式博弈的理论研究重点，并催生了颠覆性的竞争场景算法，如 Poker AI 打德扑的 AI 好像挺强的，也挺吃算力的。
与马尔可夫博弈的联系：
更直观地说，扩展形式博弈与马尔可夫博弈在“到达概率”的建模上是可以互相映射的：在“同时行动”的马尔可夫博弈里，某个智能体在该时间步看不到其他智能体到底选了什么动作，因此对它而言，同一时刻可能发生的多种联合动作序列其实是“不可区分”的，这些不同的历史会被合并为同一个信息状态 \(s\)。在这种视角下，历史就是从起点到当前的一串联合动作，而“到达概率”就是“所有参与者按各自策略一路走到某个历史/信息状态的概率”（分别记为 \(\eta_\pi(h)\) 和 \(\eta_\pi(s)\)）。反过来，如果在某个信息状态 \(s\) 上只允许当前行动者选择动作，把其他参与者的动作集置空（对所有 \(j \neq \tau(s)\) 设 \(A_j = \varnothing\)），那么这个扩展形式博弈就会退化为一个具有随状态变化的动作空间的马尔可夫博弈。简言之：扩展形式用信息集 \(s\) 表达“在该时间步对他人动作的不完全信息”，而马尔可夫博弈用联合动作与折扣累计回报刻画序列决策；两者以不同层次描述同一条轨迹的概率。</p>
<h4 id="其他-marl-框架">其他 MARL 框架<a href="#%e5%85%b6%e4%bb%96-marl-%e6%a1%86%e6%9e%b6" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h4>
<p>还存在其他 MARL 的理论框架，例如规范形博弈或者说重复博弈，以及部分可观测马尔可夫博弈。前者可视为马尔可夫的一个特例（状态为单点集，即只有一种状态，状态只会转移回这个状态），局限于小规模问题；部分可观测马尔可夫博弈由于更具挑战性，因此相关理论相对稀缺。</p>
<h2 id="marl-理论的挑战">MARL 理论的挑战<a href="#marl-%e7%90%86%e8%ae%ba%e7%9a%84%e6%8c%91%e6%88%98" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<h3 id="非唯一学习目标">非唯一学习目标<a href="#%e9%9d%9e%e5%94%af%e4%b8%80%e5%ad%a6%e4%b9%a0%e7%9b%ae%e6%a0%87" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>与单智能体强化学习中智能体以高效最大化长期回报为目标不同，多智能体强化学习的学习目标更为复杂且常常不唯一。早期 MARL 的一个主要缺陷在于研究目标界定不清。
在 MARL 算法设计与分析中，最常见的目标是收敛到纳什均衡。纳什均衡的含义是：一旦达到该均衡点，任何智能体都没有动机单方面偏离。该目标依赖严格的理想化假设：智能体完全理性、具备完全推理能力、并拥有无限的相互建模能力。在此假设下，纳什均衡是一个合理的解概念。
然而，纳什均衡作为学习目标存在明显局限：它可能全局次优、计算代价高昂，且现实中智能体只能进行有限次的相互建模。因此，单纯追求纳什均衡收敛的学习方法在实际 MARL 中往往缺乏合理性。
基于上述反思，研究者提出了两类目标框架：
均衡议程（equilibrium agenda）：继续以某种均衡概念为收敛目标，强调系统层面的稳定性。 人工智能议程（AI agenda）：在其他智能体属于固定类别（其策略集合有限，可视作环境的一部分）的前提下，为给定智能体设计最优学习策略，强调个体性能优化。 与此同时，将“收敛至均衡点”作为主要评估标准也引发争议。有研究指出，在一般和（general-sum）马尔可夫博弈中，部分基于值的 MARL 算法可能无法保证收敛到静态纳什均衡，这促生了“循环均衡”的新概念：智能体在一组静态策略之间呈现严格的周期性切换，而非收敛到任何纳什策略。
另一条评估思路将学习目标拆分为“稳定性”与“理性”：稳定性指在预定义的对手算法类别下算法的收敛性；理性则要求当其他智能体策略保持不变时，算法能收敛到最优反应。若所有智能体兼具稳定性与理性，则在该框架下系统自然收敛至纳什均衡。此外，遗憾值也为刻画智能体理性提供了另一视角：它衡量算法相对“事后可知的最佳静态策略”的性能差异。当平均遗憾渐近为零 \( \lim_{T \to \infty} \frac{1}{T}\sum_{t=1}^{T} \mathrm{regret}_t = 0 \)，无遗憾学习在一定监控或者说信息反馈条件下可保证收敛至特定博弈的相关均衡；其本质是确保长期来看智能体不被他人策略所利用（即长期来看无论其他智能体行为如何智能体的策略总不会差于事后可知的最佳静态策略）。
除了优化回报的目标外，多智能体系统特有的其他目标也日益受到关注。例如，通信学习以便智能体更好地协调，这种对通信协议的关注自然推动了通信高效的 MARL 研究。其他重要目标包括如何学习而不过度拟合特定智能体，以及如何在存在恶意、对抗性或失效或失调的学习智能体的设定下进行鲁棒学习。</p>
<h3 id="非平稳性">非平稳性<a href="#%e9%9d%9e%e5%b9%b3%e7%a8%b3%e6%80%a7" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>另一个关键挑战在于多智能体通常同时学习，导致每个个体面对的环境是非平稳的。具体而言，一个智能体的动作会影响其他对手的奖励与系统状态的演化；因此，学习者必须考虑其他智能体的行为，并据此适应联合行为。这直接破坏了单智能体RL建立收敛性的平稳性假设（环境满足平稳的马尔可夫性质，即个体奖励与当前状态仅依赖于前一状态和所采取的动作）。由此也就无法直接套用单智能体RL的数学分析工具到 MARL 上。理论上，如果智能体忽略这一问题并在假定环境平稳的前提下优化自身策略（通常称为独立学习者-IRL），算法可能出现不收敛的情况，除非在若干特殊设定下（例如智能体共享一个团队回报函数，智能体局部行动但是有全局观测）。而在经验上， IRL 有时也能取得尚可的表现（例如IPPO）。作为MARL中最为人熟知的问题之一，非平稳性在文献中早已被广泛讨论；可以参见这篇综述，<a href="https://arxiv.org/abs/1906.04737" target="_blank" >https://arxiv.org/abs/1906.04737</a></p>
<h3 id="可拓展性问题">可拓展性问题<a href="#%e5%8f%af%e6%8b%93%e5%b1%95%e6%80%a7%e9%97%ae%e9%a2%98" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>为应对非平稳性，个体智能体通常需要考虑联合动作空间，而其维度会随智能体数量指数级增长，这也被称为 MARL 的组合爆炸特性。大量智能体的存在显著增加了理论分析的复杂度，尤其是收敛性分析；这也从侧面反映在现有理论进展上：关于二人零和的MARL理论明显更为完备，而对于多于两人的一般和的设定则相对落后。一种可能的缓解思路是进一步假设价值函数或奖励函数在动作依赖上的分解（因子化）结构：例如 VDN ，QMIX 这类算法（虽然他们的理论证明薄弱）。严格理论分析参见 <a href="https://ieeexplore.ieee.org/document/9029635" target="_blank" >https://ieeexplore.ieee.org/document/9029635</a> ：在一种特殊的依赖结构下，提出了可证明收敛的基于模型的算法。与此同时，还有一类与可扩展性相互独立但被其进一步加剧的理论挑战：建立“深度”多智能体强化学习（deep MARL）的系统理论。由于可扩展性，MARL 往往需要使用函数逼近，尤其是深度神经网络；尽管在经验上颇为成功，但深度 MARL 的理论分析几乎仍是一片空白，因为当前对深度学习理论的理解尚且有限，更遑论深度 RL 理论。这也是未来的研究方向之一。</p>
<h3 id="多样的信息结构">多样的信息结构<a href="#%e5%a4%9a%e6%a0%b7%e7%9a%84%e4%bf%a1%e6%81%af%e7%bb%93%e6%9e%84" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>与单智能体相比，MARL 的信息结构（即在训练与执行阶段“谁知道什么”）更为复杂。以马尔可夫博弈为例，只需观测瞬时状态 \(s_t\) 即可使每个智能体作出决策，因为局部策略 \(\pi_i: S \to \Delta(A_i)\) 能表达均衡策略。而在扩展形式博弈中，在常见的“完美回忆”假设下，每个智能体可能需要回忆过去的决策历史。
此外，作为自利的智能体，每个智能体通常难以直接获取对手的策略或奖励，最多只能观测其采取的动作。这种部分信息会加剧非平稳性问题：样本难以准确恢复对手策略的真实行为，从而增加个体智能体所感知的非平稳性。其极端情形是前述的 IRL ，它仅假设可观测本地动作与奖励，通常不收敛。
不同信息结构下的学习方案会带来不同层次的理论分析难度。为缓解上述部分信息问题，许多工作假设存在一个中央控制器，能够收集联合动作、联合奖励与联合观测，甚至为所有智能体设计策略。这一结构催生了“集中式训练—分散式执行”（CTDE）的流行范式，其源自对部分可观测设定的规划研究，即 Dec-POMDPs，并被近年来的深度 MARL 工作广泛采用。在合作设定中，这一范式能显著简化分析，可以借用单智能体 RL 的工具；但在非合作且异构智能体的设定中，由于各方学习目标不一致，该范式并不能简化问题。
需要指出的是，在许多应用中通常并不存在这样的中央控制器，除非能方便地访问仿真环境（如电子游戏、机器人）。因此，往往更偏好分散式（fully decentralized）的学习方案，其中 IRL 是一个特例。为缓解 IRL 的不收敛问题，智能体通常允许通过通信网络与邻居交换或共享本地信息；我们将这种设定称为“带网络的去中心结构”。在该设定下，可以开展收敛性的理论分析，其难度介于单智能体 RL 与一般 MARL 算法之间。</p>
<h2 id="具备理论支撑的-marl-算法">具备理论支撑的 MARL 算法<a href="#%e5%85%b7%e5%a4%87%e7%90%86%e8%ae%ba%e6%94%af%e6%92%91%e7%9a%84-marl-%e7%ae%97%e6%b3%95" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<h3 id="完全合作设定">完全合作设定<a href="#%e5%ae%8c%e5%85%a8%e5%90%88%e4%bd%9c%e8%ae%be%e5%ae%9a" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>具有理论支撑的合作型 MARL 主要针对以下情境设计：</p>
<h3 id="同构智能体">同构智能体<a href="#%e5%90%8c%e6%9e%84%e6%99%ba%e8%83%bd%e4%bd%93" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>所有智能体共享相同的奖励函数（在这种设定下，NE 变为团队均衡，在满足 NE 的一般特性上还满足全局最优的特性），该奖励函数能协调所有智能体的利益，在智能体数量极大的设定下，同构性智能体意味着智能体在系统演化中可互换，难以区分（即智能体之间没有区别）。</p>
<h4 id="mamdp-和-马尔可夫团队">MAMDP 和 马尔可夫团队<a href="#mamdp-%e5%92%8c-%e9%a9%ac%e5%b0%94%e5%8f%af%e5%a4%ab%e5%9b%a2%e9%98%9f" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h4>
<p>考虑马尔可夫博弈，当满足 \(R_1 = R_2 = \cdots = R_N = R\)，其中奖励函数 \(R: S \times A \times S \to \mathbb{R}\) 受联合动作 \(A = A_1 \times \cdots \times A_N\) 的影响，此时，各智能体的 \(Q\) 函数相同。一个直接的算法是在每个智能体处执行标准的 Q-learning 更新，但在目标项中对联合动作空间的后继动作 \(a' \in A\) 取最大值（即将标准Q-learning 更新中对于单智能体动作空间的后继动作取最大值，替换为联合动作空间的后继动作取最大值）。在状态与动作空间均有限时，有论文论证了最优或者说均衡 \(Q\) 函数的收敛性。
然而，\(Q\) 函数的收敛并不必然意味着马尔可夫团队的均衡策略（可能是任何一种均衡，此处可能指 NE ）收敛：当均衡策略不唯一且智能体无法协调选择时，逐个智能体提取的均衡策略的任意组合可能并不构成一个团队均衡（每个智能体都找到了奖励相同的团队均衡点，但是他们选的不是同一个团队均衡点，导致联合策略不能达到一个团队均衡点）。因而，收敛到 NE 策略仅在以下两种设定下得到保证：要么假设均衡唯一，要么智能体在均衡选择上达成协调。后一思路在合作重复博弈中得到验证——这是一种具有单一状态的马尔可夫团队，其中智能体作为联合动作学习者维护联合动作的 \(Q\) 值，并学习他人的经验模型；对于一般设定还没有理论证明收敛。
在真实的马尔可夫团队设定下，有研究利用了这种协调思想并提出了“最优自适应学习”（OAL），这是首个对均衡策略收敛具有证明保证的 MARL 算法。最优自适应学习（OAL）的运作机制如下：它首先通过交互经验来估计博弈模型。随后，在每一个决策点，它都会构建一个内部的“虚拟博弈”。这个虚拟博弈是经过设计的，它围绕一个核心的策略候选集合（偏置集合，基于对历史的分析所确定的），并确保智能体在这些策略上的互动能够避免循环、趋向稳定（此性质被称为弱非循环）。接着，OAL 引入一种能够适应不同策略情境的学习算法，作用于这些虚拟博弈之上。正是通过这一系列精巧的设计，理论上证明了OAL的行为最终能够收敛至 NE。
除均衡选择的问题外，马尔可夫团队相较单智能体 RL 还需处理可扩展性问题。由于独立 Q-learning 可能不收敛，面向 MMDPs 的可扩展且收敛的早期尝试是：提出一种分布式 Q-learning 算法，可在确定性、有限的 MMDPs 上收敛。每个智能体仅维护关于状态 \(s\) 与本地动作 \(a_i\) 的 \(Q\) 表，并在更新中依次对联合动作 \(a'\) 做最大化；各个体无法获取他人的动作及其历史。
为缓解可扩展性，业界提出了若干启发式（缺乏理论支撑）的奖励或价值函数因子化方法如 VDN、QMIX、QTRAN 。其中 QTRAN 对“价值因子化”给出了严格的条件刻画；另一项理论工作假设一种单向树形依赖结构，使得整体 MMDPs 的最优策略可被局部策略在理论上良好逼近；也有人研究了共同利益博弈（包含马尔可夫团队），提出一种仅依赖状态、局部动作与奖励的分散式 RL 算法。在与独立 Q-learning 相同的信息结构下，该算法保证收敛到“团队最优均衡策略”（而不仅仅是任意均衡策略）。这点尤为重要，因为一般而言，次优均衡的性能可能与最优均衡相差悬殊。
对于基于策略的方法，据作者所知只有“两时间尺度”的 Actor-Critic 拟似博弈（fictitious play）算法有理论论证，其内容为：慢时间尺度上，Actor 在当前策略与相对于本地 \(Q\) 估计的最优反应之间做混合（相当于平滑更新）；快时间尺度上，Critic 进行策略评估，仿佛所有智能体的策略是静态的（确保准确估计Q值）。其收敛性已在“同时行动的多阶段博弈、具有共同奖励”这一马尔可夫团队特例下证明：该特例从初始状态出发，经吸收态终止（确保了有限时间范围，使值函数有界），且每个状态仅被访问一次（没有重复访问和优化，不会因为重复访问产生依赖循环）。</p>
<h4 id="马尔可夫势博弈">马尔可夫势博弈<a href="#%e9%a9%ac%e5%b0%94%e5%8f%af%e5%a4%ab%e5%8a%bf%e5%8d%9a%e5%bc%88" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h4>
<p>从博弈论视角，更一般地能包括合作设定的框架是势博弈：存在一个所有智能体共享的势函数，使得任一智能体单方面改变策略时，其奖励的变化等于或正比于该势函数的变化。尽管多数势博弈是无状态的，但马尔可夫势博弈（MPGs）这种扩展框架因能建模序列决策问题而日益受到关注；其中状态满足马尔可夫性且其演化受联合动作影响。实际上，马尔可夫团队是 MPGs 的一个特例，其势函数即公共奖励；这类动态博弈在策略上等价于马尔可夫团队。在这一模型下，有文献给出了可验证条件以判定一个马尔可夫博弈是不是马尔可夫势博弈，并证明了在马尔可夫势博弈中寻找闭环纳什均衡与求解单智能体最优控制问题等价；因此，可直接借助单智能体强化学习算法来求解此类 MARL 问题。</p>
<h4 id="均值场">均值场<a href="#%e5%9d%87%e5%80%bc%e5%9c%ba" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h4>
<p>针对可扩展性问题的另一解决思路是将环境建模为均值场，其中包括大量同构的智能体。此时，每个体对整体系统的影响趋于无穷小，智能体间因此可互换或者说不可区分；与他人的交互可由某个均值场量简洁刻画，例如平均状态或状态的经验分布。每个体只需对均值场求最优响应，显著简化了分析的复杂度。这种多智能体系统的均值场视角已通过以下模型实现：均值场博弈模型、具有均值场共享的团队模型、具有均值场行为的博弈模型。注意均值场团队和均值场博弈的区别在于求解的目标不同，均值场团队求解最优解，均值场博弈求解均衡解。
直到最近（2021年的最近），基于这些模型的MARL算法才开始探索，多集中于均值场中的非合作设定。对于合作设定，有文献研究了具有均值场共享的马尔可夫团队的强化学习：与均值场博弈相比，该模型假设智能体共享一个仅依赖本地状态与均值场的公共奖励函数，从而鼓励合作；同时，“均值场”在此指有限群体的状态经验平均（当智能体数量有限时使用智能体的状态的经验分布近似均值场（均值场一半要求智能体趋于无穷）的智能体状态概率分布），区别于 MFGs 中无限群体的期望或概率分布。基于该模型的动态规划分解（基本上是说贝尔曼方程了），若干常见的 RL 算法可直接迁移到此种模型下。有文献采用均值场控制（MFC）来刻画大规模合作决策者：策略梯度方法被证明在线性二次 MFC 上收敛；也有人证明了均值场 Q-learning 在一般 MFC 上的收敛性。
注：均值场团队与均值场博弈的区别主要在解概念——“最优”与“均衡”，分别对应一般动态团队理论与博弈论。尽管前者可视为后者的特例，但相关研究通常分开回顾。</p>
<h3 id="网络化智能体的去中心范式">网络化智能体的去中心范式<a href="#%e7%bd%91%e7%bb%9c%e5%8c%96%e6%99%ba%e8%83%bd%e4%bd%93%e7%9a%84%e5%8e%bb%e4%b8%ad%e5%bf%83%e8%8c%83%e5%bc%8f" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>在实际多智能体系统中，协作智能体并非总是同构的。智能体可能具有不同的偏好，即奖励函数，但它们仍然组成团队以最大化团队平均奖励 \(\bar{R}\) 的回报，其中 \(\bar{R}(s, a, s') = \frac{1}{N} \cdot \sum_{i \in N} R_i(s, a, s')\)。主要是，奖励函数有时无法与其他智能体共享，因为偏好对每个智能体来说是私有的。这种设定在传感器网络、智能电网、智能交通系统和机器人学等工程系统中有着广泛的应用。
网络化智能体的去中心范式可以将同构智能体视为一种特例，但是这种网络化的智能体显然需要更多的协调机制，例如，在不知道其他智能体奖励函数的设定下，全局价值函数无法在本地估计。在有中央控制器的设定下，同构智能体设定中的大多数 MARL 算法可以直接应用，因为控制器可以收集和平均奖励，并将信息分发给所有智能体。然而，由于成本、可扩展性或鲁棒性考虑，这样的控制器在前面提到的大多数应用中可能不存在。取代这种方法的是，智能体或许能够通过可能时变且稀疏的通信网络与其邻居共享/交换信息。尽管这种去中心或者分布式范式的 MARL 显然具有很大的发展潜力，但与解决静态或单阶段优化问题的分布式或一致性算法（指分布式静态优化领域的算法）的广泛研究结果相比，它的研究相对较少，分布式静态优化领域的算法与 MARL 不同，不涉及系统动态，也不最大化序贯决策问题的长期目标。</p>
<h4 id="学习最优策略">学习最优策略<a href="#%e5%ad%a6%e4%b9%a0%e6%9c%80%e4%bc%98%e7%ad%96%e7%95%a5" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h4>
<p>最重要的目标是学习最优联合策略，与此同时每个智能体只能访问本地和网络上的邻居信息。网络化智能体的 MARL 思想可以追溯到09年的文献 Efficient distributed reinforcement learning through agreement 。据作者所知，在这种设定下第一个可证明收敛的 MARL 算法来自 A collaborative distributed strategy for multiagent reinforcement learning through consensus + innovations，该算法将”一致性和创新”的思想融入到标准 Q-learning 算法中，产生了 QD-learning 算法，其更新规则如下：
</p>
$$
Q_t^{i+1}(s, a) \leftarrow Q_t^i(s, a) + \alpha_{t,s,a} \left[ R_i(s, a) + \gamma \max_{a' \in A} Q_t^i(s', a') - Q_t^i(s, a) \right] - \beta_{t,s,a} \sum_{j \in \mathcal{N}_t^i} \left[Q_t^i(s, a) - Q_t^j(s, a)\right]
$$<p>
其中 \(\alpha_{t,s,a}, \beta_{t,s,a} > 0\) 是步长，\(\mathcal{N}_t^i\) 表示智能体 \(i\) 在时间 \(t\) 的邻居智能体集合。与 Q-learning 更新相比，QD-learning 附加了一个创新项，该项捕获了与其邻居的 Q 值估计的差异。在步长的某些条件下，该算法保证在表格设定（Q-table 专门存储精确 Q 值的表格）下收敛到最优 Q 函数。
由于可扩展性问题，函数逼近在 MARL 中至关重要，这需要开发基于策略的算法。作者之前的工作，为这种设定提出了分散式 Actor-Critic 算法。特别地，每个智能体通过某个参数 \(\theta_i \in \mathbb{R}^{m_i}\) 参数化其自己的策略 \(\pi_\theta^i : S \to \Delta(A_i)\)，回报的策略梯度首先推导为：
</p>
$$
\nabla_{\theta^i} J(\theta) = \mathbb{E}[\nabla_{\theta^i} \log \pi_{\theta^i}^i(s, a^i) \cdot Q_\theta(s, a)] \quad
$$<p>
其中 \(Q_\theta\) 是在联合策略 \(\pi_\theta\) 下对应于 \(\bar{R}\)（这是团队平均奖励） 的全局价值函数（注意此处的全局价值函数是对于团队平均奖励而言的，而非对于一个额外定义的全局奖励），定义为 \(\pi_\theta(a \mid s) := \prod_{i \in \mathcal{N}} \pi_{\theta^i}^i(a^i | s)\)。与标准 Q-learning 中的策略梯度相比，此处涉及本地得分函数 \(\nabla_{\theta^i} \log \pi_{\theta^i}^i(s, a^i)\) 和全局 Q 函数 \(Q^\theta\) 乘积的期望。然而，全局 Q 函数无法在每个智能体处单独估计。因此，通过将 \(Q^\theta(\cdot, \cdot)\) 的每个本地副本（全局 Q 函数在每个本地智能体上的部分）参数化为智能体 \(i\) 的 \(Q^\theta(\cdot, \cdot; \omega_i)\)（使用神经网络从本地对全局 Q 函数估计），我们提出以下基于一致性的 TD 学习用于 Critic 步骤，即估计 \(Q^\theta(\cdot, \cdot)\)：
</p>
$$
\tilde{\omega}_t^i = \omega_t^i + \beta_{\omega,t} \cdot \delta_t^i \cdot \nabla_\omega Q_t(\omega_t^i), \quad \omega_{t+1}^i = \sum_{j \in N} c_t(i, j) \cdot \tilde{\omega}_t^j \quad
$$<p>
其中 \(\beta_{\omega,t} > 0\) 是步长，\(\delta_t^i\) 是使用 \(Q^\theta(\cdot, \cdot; \omega_i)\) 计算的本地 TD 误差（使用本地奖励计算）。第一个关系执行标准 TD 更新，然后是邻居估计 \(\tilde{\omega}_t^j\) 的加权组合。这里的权重 \(c_t(i, j)\) 由通信网络的拓扑决定，只有当两个智能体 \(i\) 和 \(j\) 在时间 \(t\) 连接时才有非零值。它们还需要在期望上满足双随机性质（每一行之和为零，每一列之和为零），以便如果 \(\omega_t^i\) 收敛，则对所有 \(i \in N\) 达到一致值。然后，每个智能体 \(i\) 在 Actor 步骤中使用其自己的\(Q^\theta(\cdot, \cdot; \omega_t^i)\)，按照去中心化 AC 的随机策略梯度更新其策略。作者在那篇文章中还引入了一个变体算法，该算法不依赖于 Q 函数，而是依赖于状态价值函数逼近来估计全局优势函数。
基于上述考虑，这类去中心化 Actor–Critic 算法在采用线性函数进行值函数逼近时，能够获得几乎必然的收敛性（作者在此前的研究证明过了，提出了分散式 AC 算法）。类似的思想也可以扩展到连续动作空间，此类场景通常使用确定性策略梯度（DPG）。由于确定性同策略（on-policy）往往探索不足，DPG 需要借助随机行为策略进行 off-policy 探索；但在多智能体设定中，其他智能体的策略未知，常见的 DPG 的 off-policy 手段不可直接适用。
受期望策略梯度（EPG）统一随机策略梯度（SPG）与确定性策略梯度（DPG）的启发，可以构造一种保持 on-policy、同时相较通用 SPG 显著降低方差的算法：推导多智能体版本的 EPG，据此开发可去中心化执行的 Actor 更新步骤；Critic 更新则沿用分散式 AC 的办法。在线性函数逼近下，该算法同样能够建立几乎必然的收敛性。
沿此方向，还可将强调时序差分（ETD）的分析方法融入分散式 AC，形成在 off-policy 设定下的扩展框架，并获得几乎必然收敛的保证。与此同时，亦存在另一种 off-policy 方案：智能体不共享价值函数估计，而是通过对全局最优策略估计达成共识来实现协同；该架构采用本地 Critic 与共识 Actor，同样具备可证明的收敛性。
除了多智能体设定外，去中心网络化的 MARL 也在多任务设定中得到了研究。在某种意义上，多任务可以被视为多智能体的简化版本，其中每个智能体处理一个不受其他智能体影响的独立 MDP，而目标仍然是学习考虑所有智能体平均奖励的最优联合策略。有人提出了一种分布式 Actor-Critic 算法，假设状态、动作和奖励都是每个智能体的本地信息。每个智能体执行基于本地 TD 进行 Critic 更新，然后执行基于一致性的 Actor 更新，该步骤通过交换邻居信息计算梯度方向进行策略优化。然后证明了平均回报的梯度随着迭代趋于无穷而收敛到零。有文献基于对偶理论开发了 Diff-DAC，这是该设定的另一种分布式 Actor-Critic 算法。更新类似于作者提出的分散式 AC 中的更新，但提供了额外的见解，即 Actor-Critic 更新实际上是求解线性规划的对偶上升方法的一个应用。
注意，所有上述收敛保证都是渐近的，即算法随着迭代次数趋于无穷而收敛，并且仅限于线性函数逼近的情况。这无法量化使用有限迭代和有限样本中存在任意一种或者两种时的性能，更不用说使用深度神经网络等非线性函数逼近时。作为在这种设定下使用更一般函数逼近进行有限样本分析的初步分析，作者在以往的工作中研究了批量 RL （离线 RL ）算法，具体研究的是拟合 Q 迭代（FQI）的去中心变体，偏重理论没有使用 DNN 作为函数逼近器，因为如果用了 DNN 那 FQI 就成了著名的 DQN 算法。作者既研究了适用于网络化智能体的合作设定的 FQI 变体，也研究了适用于两个这样的网络化智能体团队的竞争设定的 FQI 变体。在前一种设定中，所有智能体合作迭代更新全局 Q 函数估计，使用非线性最小二乘回归估计目标值。设 \(\mathcal{F}\) 为 Q 函数逼近器类别，\(\{(s_j, \{a_j^i\}_{i \in N}, s'_j)\}_{j \in [n]}\) 为所有智能体可用的大小为 \(n\) 的批量转移数据集，\(\{r_j^i\}_{j \in [n]}\) 为每个智能体私有的本地奖励样本，\(y_j^i = r_j^i + \gamma \cdot \max_{a \in A} Q_t^i(s'_j, a)\) 为本地目标值，其中 \(Q_t^i\) 是智能体 \(i\) 在迭代 \(t\) 的 Q 函数估计。然后，所有智能体合作通过求解以下问题找到共同的 Q 函数估计：
</p>
$$
\min_{f \in \mathcal{F}} \frac{1}{N} \sum_{i \in \mathcal{N}} \frac{1}{2n} \sum_{j=1}^n [y_j^i - f(s_j, a_j^1, \cdots, a_j^N)]^2 \quad (4.3)
$$<p>
该问题可以归类为分布式或者说一致性优化框架，如果 \(\mathcal{F}\) 使得对每个 \(i\)，\(\sum_{j=1}^n [y_j^i - f(s_j, a_j^1, \cdots, a_j^N)]^2\) 是凸的，则其全局最优解可以通过现有文献中的传统算法得到。如果 \(\mathcal{F}\) 是线性函数类，确实是可以的。然而，由于分布式优化算法的有限迭代（在实践中很常见），智能体可能无法达到精确一致，导致每个智能体的 Q 函数估计偏离上式的实际最优值的误差。当使用非线性函数逼近时，这种误差也存在。考虑到这种由去中心计算引起的误差，作者源于单智能体批量 RL 的误差传播分析，评估了所提出算法的有限样本性能，即算法输出的准确性如何依赖于函数类 \(\mathcal{F}\)、每次迭代内的样本数 \(n\) 和迭代次数 \(t\)。</p>
<h4 id="策略迭代">策略迭代<a href="#%e7%ad%96%e7%95%a5%e8%bf%ad%e4%bb%a3" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h4>
<p>与控制不同，在该设定下的方法仅专注于策略评估（policy evaluation），即 Actor-Critic 中的 Critic 步骤。由于策略固定，采样分布变为稳态；并且在线性函数逼近下，目标函数是凸的。这使得有限时间/有限样本分析成为可能，相比多数仅具渐近保证的控制算法更可操作。
在联合策略 \(\pi\) 下，假设每个智能体用线性函数类参数化价值函数
</p>
$$
V_\omega(s) := \phi^\top(s)\,\omega,\quad \phi(s)\in\mathbb{R}^d,\ \omega\in\mathbb{R}^d.
$$<p>
其中 \( \phi^\top(s) \) 是状态 \( s \) 的特征向量，为记号简便，记 \(\Phi := (\cdots;\ \phi^\top(s);\ \cdots)\in\mathbb{R}^{|S|\times d}\)，即将状态向量堆叠为一个矩阵，\(D := \mathrm{diag}(\{\eta_\pi(s)\}_{s\in S})\in\mathbb{R}^{|S|\times |S|}\) 即使用状态占用测度 \(\eta_\pi\) 构造的对角矩阵，\(\bar R_\pi(s) := \frac{1}{N}\sum_{i\in N} R_{i,\pi}(s)\)，其中
</p>
$$
R_{i,\pi}(s) := \mathbb{E}_{a\sim\pi(\cdot|s),\ s'\sim P(\cdot|s,a)}[R_i(s,a,s')],
$$<p>
以及转移矩阵 \(P^\pi\in\mathbb{R}^{|S|\times|S|}\) 的元素
</p>
$$
[P^\pi]_{s,s'} := \sum_{a\in A} \pi(a|s)\,P(s'|s,a).
$$<p>
则所有智能体的目标是联合最小化团队平均奖励下的均方投影贝尔曼误差（MSPBE）：
</p>
$$
\mathrm{MSPBE}(\omega) := \big\|\Pi_\Phi\big(V_\omega - \gamma P^\pi V_\omega - \bar R_\pi\big)\big\|^2_{D}
= \big\|A\omega - b\big\|^2_{C^{-1}}\quad (4.4),
$$<p>
其中 \(\Pi_\Phi := \Phi(\Phi^\top D \Phi)^{-1}\Phi^\top D\) 是将状态空间到子空间 \(\{\Phi\omega:\ \omega\in\mathbb{R}^d\}\) 的投影算子，\(A := \mathbb{E}[\phi(s)(\phi(s)-\gamma\phi(s'))^\top]\)，\(C := \mathbb{E}[\phi(s)\phi^\top(s)]\)，\(b := \mathbb{E}[\bar R_\pi(s)\phi(s)]\)。
将期望替换为样本并使用 Fenchel 对偶，MSPBE 的有限和版本可重写为分布式鞍点问题：
</p>
$$
\min_{\omega}\ \max_{\{\lambda_i\}_{i\in N}}\ \frac{1}{Nn}\sum_{i\in N}\sum_{j=1}^{n}\Big(2\,\lambda_i^\top A_j\,\omega - 2\,(b_j^{\,i})^\top \lambda_i - \lambda_i^\top C_j \lambda_i\Big)\quad (4.5),
$$<p>
其中 \(n\) 为数据规模，\(A_j, C_j, b_j^{\,i}\) 分别是 \(A, C, b^i := \mathbb{E}[R_{i,\pi}(s)\phi(s)]\) 的样本估计。上式关于 \(\omega\) 为凸，关于 \(\{\lambda_i\}_{i\in N}\) 为凹。
以 MSPBE 为目标在多智能体策略评估中是标准做法；鞍点重构也被用于：基于扩散策略的分布式强化学习算法，分布式 GTD 算法，双重平均 MARL 算法，MARL 中带线性函数逼近的分布式TD(0)算法的有限时间分析。有文献引入了 MSPBE 的一个变体——H 截断的 \(\lambda\) 加权 MSPBE，以控制与实际均方贝尔曼误差最优解的偏差。基于 MSPBE，有文献开发了分布式的梯度 TD 方法，并用常微分方程（ODE）方法证明了渐近收敛。有文献提出了结合动态一致性与 SAG 算法的“双重平均”方案，以线性速率求解 MSPBE 的有限和版本。有文献将方差降低思想（ AVRG ）引入到基于梯度 TD 的策略评估，在达到与双重平均算法相同的线性速率的同时，有三点优势：1. 与数据量无关的内存需求；2. 使用资格迹（Eligibility Trace）；3. 采样无需同步。标准 TD 学习（而非 gradient-TD）也被推广到该 MARL 设定，重点在于有限样本分析。有文献研究了分布式 TD(0)，要求对迭代做投影并假设样本独立同分布。进一步地，有文献给出了更一般的分布式 TD(\(\lambda\)) 在无需投影与噪声假设下的有限时性能分析。对于网络化但独立 MDP 的设定，有文献研究了基于重要性采样的离策略评估；因为 MDP 之间无耦合，智能体不需要知道其他智能体的动作。随后提出了扩散式分布式 GTD，并证明了其以次线性速率在均方意义上的收敛。有文献在时变通信网络下为该设定设计了 TD 学习的两个变体（GTD2 与 TDC ），并基于一般随机近似理论证明了弱收敛。也有工作考虑了独立 MDP 设定，得到与实际 MARL 设定一致的结果。</p>
<h4 id="其他学习目标">其他学习目标<a href="#%e5%85%b6%e4%bb%96%e5%ad%a6%e4%b9%a0%e7%9b%ae%e6%a0%87" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h4>
<p>在网络化智能体的去中心化 MARL 中，研究者们还探索了其他几种学习目标。有文献考虑了最优一致性问题，其中网络中的每个智能体跟踪其邻居以及领导者的状态，从而通过联合策略最小化一致误差。该研究引入了一种策略迭代算法，进一步设计了使用神经网络进行函数逼近的 Actor-Critic 算法。也有文献在&quot;合作多智能体图博弈&quot;框架下采用了类似的一致误差目标，通过 CTDE 架构开发了 off-policy 强化学习算法。
通信效率作为该设定下算法设计的关键要素，受到极大的关注。有文献开发了惰性聚合策略梯度（LAPG），这是一种分布式策略梯度算法，通过精心设计通信触发规则，可以减少智能体与中央控制器之间的通信轮次。有文献解决了与双重平均算法相同的策略评估问题，并通过提出与双随机混合矩阵不同的混合矩阵进行一致化，开发了一种分层分布式算法，允许智能体之间的单向信息交换以节省通信。相比之下，有工作提出的分布式 Actor-Critic 算法通过每次迭代仅传输其状态向量的一个标量条目来减少通信，同时保持与一般分布式 AC 中相同的可证明收敛性。</p>
<h3 id="部分观测模型">部分观测模型<a href="#%e9%83%a8%e5%88%86%e8%a7%82%e6%b5%8b%e6%a8%a1%e5%9e%8b" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>该部分只介绍一种重要且具有挑战性的模型——智能体部分可观的场景。尽管在实践中很常见，与完全可观测设定相比，该设定下的 MARL 算法理论分析仍相对稀缺（注意前两种设定都是全局观测的）。
一般而言，该设定可用去中心化部分可观测马尔可夫决策过程（ Dec-POMDP ）建模，它与马尔可夫博弈或者马尔可夫团队在奖励函数、转移模型等几乎所有要素上保持一致，区别在于每个智能体仅能获得系统状态 s 的局部观测。由于无法获取其他智能体的观测，单个智能体无法获知全局的信念状态（是指给定历史观测和动作序列的前提下，真实状态 s 的后验概率分布，即智能体可能处于的所有状态的概率）——这是单智能体 POMDP 中用于决策的充分统计量（即所有的历史观测和动作都可以压缩到信念状态中，不损失决策质量）。因此，Dec-POMDP 被证明为 NEXP 完全（NEXPTIME-complete），即在最坏情况下求解需要超指数时间（多重指数时间，不可能在有限时间解出来）。
针对 Dec-POMDP 的规划和学习算法研究正日益增长。多数算法采用 CTDE 范式：首先将去中心化问题重构为中心化问题，在中央控制器上使用所有智能体的观测数据进行求解；随后基于数据，优化或者学习策略，并分发至各智能体执行。有限状态控制器（FSCs）常用于表示各智能体的本地策略，它将局部观测历史映射到动作。有文献提出了贝叶斯非参数方法以确定可变规模 FSC 的控制器大小。
为高效求解中心化问题，提出了一系列自上而下算法。有文献将 Dec-POMDP 转换为不可观测 MDP（NOMDP，信念状态不变，导致Agent对转移状概率奖励的计算方式始终不变），并用启发式树搜索算法求解。作为该转换的扩展，有文献将 Dec-POMDP 转换为占用态 MDP（oMDP），其状态为占用态即信念状态的分布作为状态。由于 oMDP 的价值函数具备分段线性与凸性，有文献开发出了可处理的规划算法与基于价值的学习算法。
为进一步提升计算效率，还提出了若干基于采样的规划/学习算法：结合策略迭代的蒙特卡洛采样与期望—最大化算法。此外，蒙特卡洛树搜索也已用于若干特殊的 Dec-POMDP 类，如多智能体 POMDP 与多机器人主动感知。在该中心化学习范式下，也可构建基于策略梯度的算法，采用 CTDE 架构。对于表格设定（有限状态—动作空间），还建立了有限样本分析。
也有若干工作尝试在 Dec-POMDP 中实现去中心化学习：当智能体共享部分公共信息/观测时，有文献将问题重构为一个中心化 POMDP，把公共信息视为虚拟中央控制器的观测；这样，每个智能体都能独立求解该中心化 POMDP。有文献进一步用有限状态 MDP 近似该重构的 POMDP，近似误差指数递减，并以 Q-learning 求解。最近，有工作针对该中心化 POMDP 开发了基于树搜索的算法，有趣的是它与直接求解 Dec-POMDP 的启发式方法 相呼应，但具备更坚实的理论基础。需要注意的是，在有限状态 MDP 和基于树搜索的方法中，所有智能体共用一个随机数发生器，以避免智能体间通信并实现去中心化学习方案，即所有智能体进行的探索方向提前约定一致。</p>
<h3 id="完全竞争设定">完全竞争设定<a href="#%e5%ae%8c%e5%85%a8%e7%ab%9e%e4%ba%89%e8%ae%be%e5%ae%9a" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>竞争性场景通常被建模为零和博弈。在计算复杂度层面，求解两人与多人零和博弈存在显著差异。特别需要指出的是，即使是最简单的三人矩阵博弈，也被证明属于 PPAD 完全问题（有向图上的多项式奇偶参数，PPAD 这类问题里最难计算的那个问题）。因此现有关于竞争性多智能体强化学习的研究主要聚焦于两人零和博弈。</p>
<h3 id="基于值的方法">基于值的方法<a href="#%e5%9f%ba%e4%ba%8e%e5%80%bc%e7%9a%84%e6%96%b9%e6%b3%95" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>与单智能体 MDP 类似，基于值的方法旨在找到最优价值函数，从中可以提取联合纳什均衡策略。最优价值函数是贝尔曼算子（描述价值函数更新的数学算子）的唯一不动点，可以通过动态规划类方法获得（就是说可以通过迭代收敛到最优解）。具体而言，对于同步移动（所有智能体同时选择动作）的马尔可夫博弈，价值函数满足 \(V^1_{\pi^1,\pi^2} = -V^2_{\pi^1,\pi^2}\)，因此任何纳什均衡 \(\pi^* = (\pi^{1,*}, \pi^{2,*})\) 满足
</p>
$$
V^1_{\pi^1,\pi^{2,*}}(s) \leq V^1_{\pi^{1,*},\pi^{2,*}}(s) \leq V^1_{\pi^{1,*},\pi^2}(s), \quad \text{对于任意 } \pi = (\pi^1, \pi^2) \text{ 和 } s \in S. \quad
$$<p>
即左侧玩家1单方面改变策略，玩家1的价值不会增加，玩家1的策略已经是最优响应；右侧玩家2单方面改变策略，玩家1的价值不会减少，所以玩家2的价值不会增加，说明玩家2的策略已经是最优响应。类似于正则形式/矩阵（正则形式就是矩阵形式）零和博弈中的极小极大定理（对于玩家1而言他选择了某个策略，对于玩家2一定会选择对玩家1最不利的策略，那么玩家1就会选择在最坏情况下收益最高的策略，而玩家2则会选择玩家1在最好情况下收益最小的策略，即玩家1最大化最小收益，玩家2最小化最大收益，冯·诺依曼极小极大定理指出有限双人零和博弈中，极大极小值等于极小极大值），对于具有有限状态和动作空间的两人零和马尔可夫博弈，可以定义最优价值函数 \(V^*: S \to \mathbb{R}\) 为
</p>
$$
V^* = \max_{\pi^1} \min_{\pi^2} V^1_{\pi^1,\pi^2} = \min_{\pi^2} \max_{\pi^1} V^1_{\pi^1,\pi^2}, \quad
$$<p>
那么双人博弈价值纳什均衡和双人零和马尔可夫博弈的最优价值函数定义意味着重合（因为极小化极大值就意味着玩家2无法通过改变自己策略损害玩家1的利益，极大化极小值意味着玩家1无法通过改变自己策略增加自己的利益）并且任何达到最优价值函数中上确界和下确界的策略对 \(\pi^1\) 和 \(\pi^2\) 构成一个纳什均衡。此外，与 MDP 类似，有研究表明 \(V^*\) 是贝尔曼方程的唯一解，并且可以基于 \(V^*\) 构造纳什均衡。具体而言，对于任意 \(V: S \to \mathbb{R}\) 和任意 \(s \in S\)，定义
</p>
$$
Q_V(s, a^1, a^2) = \mathbb{E}_{s' \sim P(\cdot | s,a^1,a^2)} \left[R^1(s, a^1, a^2, s') + \gamma \cdot V(s')\right],
$$<p>
联合动作价值函数定义为联合动作奖励和下时刻状态价值折扣的期望，其中 \(Q_V(s, \cdot, \cdot)\) 可以视为 \(\mathbb{R}^{|A^1| \times |A^2|}\) 中的一个矩阵。然后我们通过求解关于 \(Q_V(s, \cdot, \cdot)\) 作为收益矩阵的矩阵零和博弈来定义贝尔曼算子 \(\mathcal{T^*}\)，即对于任意 \(s \in S\)，可以定义
</p>
$$
(\mathcal{T}^*V)(s) = \text{Value}[Q_V(s, \cdot, \cdot)] = \max_{u \in \Delta(A^1)} \min_{v \in \Delta(A^2)} \sum_{a \in A^1} \sum_{b \in A^2} u_a \cdot v_b \cdot Q_V(s, a, b),
$$<p>
其中我们使用 \(\text{Value}(\cdot)\) 表示矩阵零和博弈的最优值，可以通过求解线性规划获得，其中\( \Delta(A^*) \)代表玩家1可能的混合策略的集合，\( {u_a, v_b} \)分别代表玩家 1 和玩家 2 选择动作\( a, b \)的概率，\( A^* \)是玩家动作集合，对状态价值函数进行贝尔曼计算的含义是寻找一个混合策略能够最大最小化联合动作价值函数的期望。贝尔曼算子 \(\mathcal{T}^*\) 在 \(\ell_\infty\)范数（即最大范数）下是 \(\gamma\)压缩的（能保证价值函数最大范数逐渐减小），且 \(V^*\) 是贝尔曼方程 \(V = \mathcal{T}^*V\) 的唯一解。此外，令 \(p^1(V)\), \(p^2(V)\) 为上式优化问题的任意解，有 \(\pi^* = (p^1(V^*), p^2(V^*))\) 是纳什均衡。因此，基于贝尔曼算子 \(\mathcal{T}^*\)，有人提出了价值迭代算法，该算法创建一个满足 \(V_{t+1} = \mathcal{T}^*V_t\) 的价值函数序列 \(\{V_t\}_{t \geq 1}\)，该序列以线性速率收敛到 \(V^*\)。具体而言，有
</p>
$$
\|V_{t+1} - V^*\|_\infty = \|\mathcal{T}^*V_t - \mathcal{T}^*V^*\|_\infty \leq \gamma \cdot \|V_t - V^*\|_\infty \leq \gamma^{t+1} \cdot \|V_0 - V^*\|_\infty.
$$<p>
此外，价值迭代更新可以分解为两个步骤。具体而言，令 \(\pi^1\) 为玩家 1 的任意策略，\(V\) 为任意价值函数，我们定义贝尔曼算子 \(\mathcal{T}^{\pi^1}\) 为
</p>
$$
(\mathcal{T}^{\pi^1}V)(s) = \min_{v \in \Delta(A^2)} \sum_{a \in A^1} \sum_{b \in A^2} \pi^1(a | s) \cdot v_b \cdot Q_V(s, a, b),
$$<p>
当玩家2策略不变时最小化当前策略的状态价值函数期望，然后可以等价地将价值迭代更新写为
</p>
$$
\mu_{t+1} = p^1(V_t) \quad \text{和} \quad V_{t+1} = \mathcal{T}^{\mu_{t+1}}V_t.
$$<p>
这种分解激发了两人零和博弈的策略迭代算法，该算法已在此类马尔可夫博弈的不同变体进行了研究。具体而言，从玩家 1 的角度来看，策略迭代创建一个满足
</p>
$$
\mu_{t+1} = p^1(V_t) \quad \text{和} \quad V_{t+1} = (\mathcal{T}^{\mu_{t+1}})^\infty V_t,
$$<p>
即 \(V_{t+1}\) 是 \(\mathcal{T}^{\mu_{t+1}}\) 的不动点。玩家 2 的更新可以类似地构造。贝尔曼算子 \(\mathcal{T}^{\mu_{t+1}}\) 是 \(\gamma\)-压缩的，其不动点对应于与 \((\mu_{t+1}, \text{Br}(\mu_{t+1}))\) 相关联的价值函数，其中 \(\text{Br}(\mu_{t+1})\) 是当玩家 1 采用 \(\mu_{t+1}\) 时玩家 2 的最佳响应策略。因此，在策略迭代的每一步中，玩家首先基于当前函数 \(V_t\) 找到一个改进的策略 \(\mu_{t+1}\)，然后通过假设对手采用最佳对抗策略 \(\text{Br}(\mu_{t+1})\) 来获得一个保守的价值函数。有研究表明，对于回合制零和马尔可夫博弈，价值函数序列 \(\{V_t\}_{t \geq 0}\) 以线性收敛速率单调递增到 \(V^*\)。
注意到价值和策略迭代算法都是基于模型的，因为需要计算贝尔曼算子 \(\mathcal{T}^{\mu_{t+1}}\)。通过数据驱动近似估计贝尔曼算子，有文献提出了极小极大 Q 学习（minimax-Q learning），将著名的 MDP Q 学习算法扩展到零和马尔可夫博弈。具体而言，极小极大 Q 学习是一种在线、离策略的表格方法，基于转移数据 \(\{(s_t, a_t, r_t, s'_t)\}_{t \geq 0}\) 更新动作价值函数 \(Q: S \times A \to \mathbb{R}\)，其中 \(s'_t\) 是 \((s_t, a_t)\) 的下一个状态，\(r_t\) 是奖励。在第 \(t\) 次迭代中，它只更新 \(Q(s_t, a_t)\) 的值，并保持 \(Q\) 的其他条目不变。
具体而言，有
</p>
$$
Q(s_t, a^1_t, a^2_t) \leftarrow (1 - \alpha_t) \cdot Q(s_t, a^1_t, a^2_t) + \alpha_t \cdot \{r_t + \gamma \cdot \text{Value}[Q(s'_t, \cdot, \cdot)]\},
$$<p>
其中 \(\alpha_t \in (0, 1)\) 是步长。在类似于单智能体 Q 学习的条件下，上式生成的函数 \(Q\) 收敛到最优动作价值函数 \(Q^* = Q_{V^*}\)，该函数由矩阵零和博弈的最优值和联合动作价值函数组合定义。可以通过下式定义动作价值函数的贝尔曼算子 \(\mathcal{T}^*\)：
</p>
$$
(T^*Q)(s, a^1, a^2) = \mathbb{E}_{s' \sim P(\cdot | s,a^1,a^2)} \left[R^1(s, a^1, a^2, s') + \gamma \cdot \text{Value}[Q(s', \cdot, \cdot)]\right],
$$<p>
那么 \(Q^*\) 是 \(\mathcal{T}^*\) 的唯一不动点。由于目标值 \(r_t + \gamma \cdot \text{Value}[Q(s'_t, \cdot, \cdot)]\) 是 \((\mathcal{T}^*Q)(s_t, a^1_t, a^2_t)\) 的估计量，极小极大 Q 学习可以视为计算 \(\mathcal{T}^*\) 不动点的随机逼近算法。
极小极大 Q 学习可以进一步扩展到函数逼近设置，其中 Q 函数由参数化函数近似。然而，即使使用线性函数逼近，这种极小极大 Q 学习的收敛保证仍未被充分理解。这种线性价值函数逼近也适用于一类重要的具有连续状态-动作空间的零和马尔可夫博弈实例，即线性二次（LQ）零和博弈，其中奖励函数关于状态和动作是二次的，而转移模型遵循线性动态。在这种设置下，基于 Q 学习的算法可以保证收敛到纳什均衡。
为了适应一般的函数类，批量强化学习的框架可以适配多智能体设置。每个智能体通过使用最小二乘拟合目标值来迭代更新 Q 函数。具体而言，令 \(\mathcal{F}\) 为目标函数类，令 \(\{(s_i, a^1_i, a^2_i, r_i, s'_i)\}_{i \in [n]}\) 为数据集。对于任意 \(t \geq 0\)，令 \(Q_t\) 为第 \(t\) 次迭代中的当前迭代值，并对所有 \(i \in [n]\) 定义 \(y_i = r_i + \gamma \cdot \text{Value}[Q_t(s'_i, \cdot, \cdot)]\)。然后我们通过在 \(\mathcal{F}\) 中求解最小二乘回归问题来更新 \(Q_t\)，即
</p>
$$
Q_{t+1} \leftarrow \arg\min_{f \in \mathcal{F}} \frac{1}{2n} \sum_{i=1}^n [y_i - f(s_i, a^1_i, a^2_i)]^2.
$$<p>
关于其他有限样本分析，最近有研究探讨了零和回合制随机博弈（TBSG），这是当转移模型嵌入某个特征空间（转移概率不再显式建模，而是使用低维的特征表示参数化）且生成模型可用（有一个仿真环境）时的一种简化零和马尔可夫博弈，并为此设置提出了两种基于 Q 学习的算法并进行了分析。另有研究，通过扩展先前针对 MDP 的近乎最优 Q 学习算法，为具有生成模型的一般零和 TBSG 实现了近乎最优的样本复杂度的算法。
在在线设置中，学习者仅控制其中一个玩家与任意对手对抗，有研究提出了 UCSG，一种用于平均奖励零和马尔可夫博弈的算法，使用了面对不确定性的乐观原则。当与任意对手竞争时，UCSG 被证明能够实现相对于博弈值的次线性遗憾（遗憾的增长速度比线性还慢），并且如果对手采用乐观最佳响应，也能实现 \(\tilde{O}(\text{poly}(1/\epsilon))\) 的样本复杂度（准多项式样本复杂度，双向学习的话，学起来很快）。
此外，针对不完全信息的零和博弈，有研究提出使用序列形式表示将扩展式博弈转换为正则形式博弈，从而通过线性规划实现均衡寻找。另外，通过将状态空间提升到信念状态空间，也有研究将动态规划方法应用于零和随机博弈。这两种方法都保证找到纳什均衡，但仅对小规模问题有效。
最后，具有 UCB 类型动作选择规则的蒙特卡洛法也可以应用于具有不完全信息的两人回合制博弈，这为深度强化学习在围棋中的成功奠定了基础。此外，这些方法被证明收敛到博弈的极小极大解，因此可以视为带有蒙特卡洛采样的极小极大 Q 学习的对应物。</p>
<h3 id="基于策略的方法-1">基于策略的方法<a href="#%e5%9f%ba%e4%ba%8e%e7%ad%96%e7%95%a5%e7%9a%84%e6%96%b9%e6%b3%95-1" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>基于策略的强化学习方法也可扩展至多智能体场景。与寻找贝尔曼算子的不动点不同，相当数量的方法仅关注单个智能体，旨在最大化该智能体的期望回报，而忽略其他智能体的策略。具体而言，从单个智能体视角观察，由于其他智能体同时调整策略，环境呈现时变特性。基于策略的方法旨在通过最小化（外部）遗憾值，使得智能体在其他智能体采取任意策略时仍能获得最优性能，即寻找与事后最优固定策略性能相当的行动序列。若算法具有可忽略的平均整体遗憾值，则称为无遗憾算法或汉南一致算法。已知在重复正则博弈中，任何汉南一致算法均具备以下两个理想特性：首先，当其他智能体采用静态策略时，该算法构建的时间平均策略（将策略按照时间平均，策略是一个概率分布）会收敛至最佳响应策略（针对其他智能体使用的策略）；更重要的是，在双人零和博弈中，当双方均采用汉南一致算法且平均整体遗憾值均不超过 \( \epsilon \) 时，其联合时间平均策略将构成 \( 2\epsilon \) 近似纳什均衡。因此，任何汉南一致的单智能体强化学习算法均可通过自我博弈方式求解双人零和博弈的纳什均衡。此类方法大多属于以下两大类别：虚拟博弈与反事实遗憾最小化。
虚拟博弈是博弈论中研究的经典算法，玩家通过重复进行博弈，每个个体采用针对其他智能体平均策略的最优响应策略。该方法最初用于求解正则形式博弈——这是马尔可夫博弈的简化形式（其状态集\( S \)为单点集且折扣因子\( \gamma = 0 \)）。具体而言，对于\( N \)个智能体的任意联合策略\( \pi \in \Delta(A) \)，令\( \pi_{-i} \)表示除玩家\( i \)外所有玩家的边际策略。当\( t \geq 1 \)时，假设前\( t \)个阶段中智能体已执行动作序列\( \{a_\tau: 1 \leq \tau \leq t\} \)，定义\( x_t \)为该序列的经验分布，即对任意\( a \in A \)满足\( x_t(a) = t^{-1} \sum_{\tau=1}^t \mathbb{1}_{\{a_\tau = a\}} \)（\( \mathbb{1} \)是指示函数，当且仅当智能体选择动作 \( a \) 时指示函数值为 \( 1 \)，该函数估计动作 \( a \) 被选中的概率 ）。在第\( t \)阶段，每个智能体\( i \)根据针对\( x_{t}^{-i} \)的最优响应策略选择动作\( a_i^t \in A_i \)。换言之，每个智能体根据历史数据推断其他智能体策略后执行最优对抗策略。此处对任意\( \epsilon > 0 \)和策略\( \pi \in \Delta(A) \)，用\( \text{Br}_\epsilon(\pi^{-i}) \)表示玩家\( i \)的\( \epsilon \)-最优响应策略，该策略满足以下条件：
</p>
$$
R^i(\text{Br}_\epsilon(\pi^{-i}), \pi^{-i}) \geq \sup_{\mu \in \Delta(A_i)} R^i(\mu, \pi^{-i}) - \epsilon
$$<p>
此外，我们定义 \( \text{Br}_\epsilon(\pi) \) 为联合策略 \( (\text{Br}_\epsilon(\pi^{-1}), \ldots, \text{Br}_\epsilon(\pi^{-N})) \in \Delta(A) \)，并在 \( \epsilon = 0 \) 时省略下标。通过这种表示法，将每个 \( a \in A \) 视为 \( \Delta(A) \) 的一个顶点，我们可以等价地将虚拟博弈过程写为：
</p>
$$
x_t - x_{t-1} = (1/t) \cdot (a_t - x_{t-1}) ，\text{其中} a_t \sim \text{Br}(x_{t-1})
$$<p>
当 \( t \to \infty \) 时，上式中的更新可以近似地由微分包含描述：
</p>
$$
\frac{dx(t)}{dt} \in \text{Br}(x(t)) - x(t)
$$<p>
这被称为连续时间虚拟博弈。尽管离散时间虚拟博弈一般不是汉南一致的，但有文献表明连续时间虚拟博弈是汉南一致的，利用随机逼近的工具，基于平滑或随机扰动等技术对离散时间虚拟博弈的各种修改已被证明收敛于连续时间虚拟博弈，因此离散时间虚拟博弈是汉南一致的。因此，将这些方法与自我博弈结合应用，可证明能找到双人零和正则形式博弈的纳什均衡。
此外，虚拟博弈方法也已扩展到无需模型知识的强化学习环境中。具体而言，利用序列形式表示，有文献提出了首个适用于扩展形式博弈的虚拟博弈算法，该算法与正则形式博弈的广义弱化虚拟博弈的实现等价。关键洞见在于：正则形式策略的凸组合可以写为使用实现概率的行为策略的加权凸组合。
具体来说，智能体 \( i \) 的信息状态集合记为 \( S^i \)。当博弈具有完美回忆时，每个 \( s^i \in S^i \) 唯一地定义了智能体 \( i \) 为到达状态 \( s^i \) 所执行的动作序列 \( \sigma_{s^i} \)。那么，智能体 \( i \) 的任何行为策略 \( \pi^i \) 都会为智能体 \( i \) 的每个序列 \( \sigma \) 诱导一个实现概率 \( \text{Rp}(\pi^i; \cdot) \)，其定义为：
</p>
$$
\text{Rp}(\pi^i; \sigma) = \prod_{(\sigma_{s'}, a) \subseteq \sigma} \pi^i(a | s')
$$<p>
其中乘积遍历所有 \( s' \in S^i \) 和 \( a \in A^i \)，使得 \( (\sigma_{s'}, a) \) 是 \( \sigma \) 的子序列。使用实现概率的表示法，对于智能体 \( i \) 的任意两个行为策略 \( \pi \) 和 \( \tilde{\pi} \)，
</p>
$$
\frac{\lambda \cdot \text{Rp}(\pi, \sigma_{s^i}) \cdot \pi(\cdot \mid s^i)}{\lambda \cdot \text{Rp}(\pi, \sigma_{s^i}) + (1 - \lambda) \cdot \text{Rp}(\tilde{\pi}, \sigma_{s^i})} + \frac{(1 - \lambda) \cdot \text{Rp}(\tilde{\pi}, \sigma_{s^i}) \cdot \pi(\cdot \mid s^i)}{\lambda \cdot \text{Rp}(\pi, \sigma_{s^i}) + (1 - \lambda) \cdot \text{Rp}(\tilde{\pi}, \sigma_{s^i})} \quad \forall s_i \in S_i,
$$<p>
\( \pi \) 和 \( \tilde{\pi} \) 的和是 \( \pi \) 和 \( \tilde{\pi} \) 的混合策略，权重分别为 \( \lambda \in (0, 1) \) 和 \( 1 - \lambda \) 。再结合\( \epsilon \)最优响应策略，有文献中的虚拟博弈算法计算一个策略序列 \( \{\pi_t\}_{t \geq 1} \)。具体而言，在第 \( t \) 次迭代中，任何智能体 \( i \) 首先计算 \( t+1 \)-最优响应策略 \( \tilde{\pi}_t^{i+1} \in \text{Br}_{t+1}(\pi_{-i}^t) \)，然后将 \( \pi_t^{i+1} \) 构造为 \( \pi_t^i \) 和 \( \tilde{\pi}_t^{i+1} \) 的混合策略，权重分别为 \( 1 - \alpha_{t+1} \) 和 \( \alpha_{t+1} \)。这里，\( \epsilon_t \) 和 \( \alpha_t \) 都随着 \( t \) 趋于无穷大而收敛到零，并且 \( \sum_{t \geq 1} \alpha_t = \infty \)。
然而，尽管这种方法通过自我博弈可证明收敛到零和博弈的纳什均衡，但由于需要在每次迭代中遍历博弈的所有状态，它遭受维度灾难的困扰。为了计算效率，有文献提出了一个数据驱动的虚拟自我博弈框架，其中最优响应通过拟合 Q 迭代为单智能体强化学习问题进行计算，而混合策略通过监督学习学习。这个框架后来被采用，整合其他单智能体强化学习方法，如深度 Q 网络和蒙特卡洛树搜索。
此外，有文献提出了一个平滑虚拟博弈算法，用于具有同时移动的零和多阶段博弈。算法将 AC 框架与虚拟自我博弈相结合，并通过策略评估隐式推断对手的策略。具体而言，当两个玩家采用联合策略 \( \pi = (\pi^1, \pi^2) \) 时，从玩家1的角度来看，它通过时间差分学习估计 \( Q^{\pi^1,\pi^2} \) 来隐式推断 \( \pi^2 \)，其中 \( \bar{Q}^{\pi^1,\pi^2}: S \times A^1 \to \mathbb{R} \) 定义为
</p>
$$
\bar{Q}^{\pi^1,\pi^2}(s, a^1) = \mathbb{E} \left[ \sum_{t \geq 0} \gamma^t R^1(s_t, a_t, s_{t+1}) \middle| s_0 = s, a^1_0 = a^1, a^2_0 \sim \pi^2(\cdot | s), a_t \sim \pi(\cdot | s_t), \forall t \geq 1 \right]
$$<p>
这是玩家1的动作价值函数，通过 \( \pi^2 \) 进行边际化处理（即考虑策略的所有可能动作分布计算的期望值）。此外，最优响应策略通过相对于 \( Q^{\pi^1,\pi^2} \) 的软贪心策略获得，即：
</p>
$$
\pi^1(a^1 | s) \leftarrow \frac{\exp[\eta^{-1} \cdot Q^{\pi^1,\pi^2}(s, a^1)]}{\sum_{a^1 \in A^1} \exp[\eta^{-1} \cdot Q^{\pi^1,\pi^2}(s, a^1)]},
$$<p>
其中 \( \eta > 0 \) 是平滑参数。最后，该算法同时执行策略评估和策略更新，使用双时间尺度更新，确保在使用自我博弈时，策略更新可以由一个常微分方程来描述，其渐近稳定解是博弈的平滑纳什均衡。
没时间读这篇了，这篇写的是极其系统和严谨的。适合多花点时间仔细阅读，但是我读了太长时间，先这样。</p>
]]></content></item><item><title>EFT阅读</title><link>https://blog.hieros.me/zh/posts/eft/</link><pubDate>Thu, 16 Oct 2025 22:00:00 +0800</pubDate><author>BLESS</author><guid>https://blog.hieros.me/zh/posts/eft/</guid><description>NIPS2024论文笔记——EFT</description><content type="text/html" mode="escaped"><![CDATA[<h1 id="eft---情景未来思维机制">EFT - 情景未来思维机制<a href="#eft---%e6%83%85%e6%99%af%e6%9c%aa%e6%9d%a5%e6%80%9d%e7%bb%b4%e6%9c%ba%e5%88%b6" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h1>
<p>这篇论文作者不多，仅两位，看起来像是学生与导师的组合，同样是国内作者。论文附带公开代码，整体感觉比 AgA 更易读。</p>
<p>论文地址：https://nips.cc/virtual/2024/poster/93443<br>
项目地址：https://github.com/DongsuLeeTech/EFTM</p>
<h2 id="摘要">摘要<a href="#%e6%91%98%e8%a6%81" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<p>针对多智能体系统中智能体间的异构性问题，作者受动物认知过程启发，为每个智能体设计了一种<strong>情景未来思维机制</strong>（EFT）。首先，作者开发了一种<strong>多角色策略</strong>，用于捕捉多样化的行为特征。在多角色策略中，智能体的性格被定义为奖励组分的不同权重组合。具备 EFT 机制的智能体会收集目标智能体的观测-行动轨迹，利用训练好的多角色策略推断其性格特征。一旦完成推断，该智能体即可预测目标智能体的后续运动，对未来进行推演模拟，从而获得更高的奖励。</p>
<h2 id="介绍">介绍<a href="#%e4%bb%8b%e7%bb%8d" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<p>认知科学研究所表明，人类会运用反事实思维或未来情景模拟来优化决策。尽管反事实思维已在多智能体强化学习（MARL）中得到广泛应用，但情景未来思维的研究仍相对不足。</p>
<p>传统方法通常通过基于模型的强化学习进行未来轨迹预测，但这需要一个准确的状态转移模型。然而在 MARL 中，由于智能体间的复杂依赖关系，学习状态转移模型变得极其困难。因此，作者在部分可观测马尔可夫决策过程框架下，将奖励函数各部分的权重差异定义为角色特征（例如更偏好安全性或行驶速度），从而形成智能体间差异化的策略与行为模式。</p>
<p>实施 EFT 机制需要两个功能模块：多角色策略与角色推断模块。多角色策略覆盖不同角色的行为模式，支持在连续空间进行部分状态观测，并处理由离散与连续组成的混合动作空间。角色推断模块借鉴&quot;逆向理性控制（IRC）&quot;，即假设每个智能体都有一个并不完美的内部世界模型，寻找最能解释其行为的模型（概念本身也值得学习，参见 <a href="https://doi.org/10.48550/arXiv.2009.12576" target="_blank" >https://doi.org/10.48550/arXiv.2009.12576</a>）。该模块通过最大化目标智能体观测—动作轨迹的对数似然来推断角色：在多角色策略的所有可能参数中，找到最可能产生这些动作的参数（即该角色）。两者结合使智能体具备 EFT 功能，从而在异构多智能体交互中预测他者行为并实现更主动的交互。</p>
<p>要使用 EFT 机制，智能体首先作为观察者收集目标智能体的观测—动作轨迹。随后利用角色推断模块得到目标智能体的角色特征。基于该特征并调用多角色策略，在固定自身动作为&quot;无动作&quot;的前提下预测其他智能体的行为，并模拟未来观测状态。通过这种心智模拟，智能体可估计&quot;其他目标智能体已完成动作而自身尚未行动&quot;时刻的观测，并据此选择最优动作。总体而言，EFT 使智能体能够在异构多智能体交互中实施前瞻性行为。</p>
<p>该机制确实具有前瞻性，但也存在几个潜在不足：其一，自身&quot;无动作&quot;的设定可能使未来观测的模拟存在偏差；其二，EFT 需要对可能出现的角色预先建模，即奖励由若干清晰的组成部分并可通过权重定义角色，这在奖励不明显或策略不明确（如稀疏奖励）场景中适用性受限。</p>
<h2 id="相关工作">相关工作<a href="#%e7%9b%b8%e5%85%b3%e5%b7%a5%e4%bd%9c" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<p>这篇论文的相关工作很有意思，值得仔细阅读。非 MARL 的相关工作比较多，对于认知科学和认知神经科学的研究，仅作简单翻译。</p>
<p><strong>情景未来思维</strong>：认知神经科学旨在理解人类如何运用记忆进行决策。有研究指出，大脑区域神经激活在反事实推理（即模拟上一情景的替代后果）与未来思维（即模拟未来可能发生的情景）方面呈现出相似趋势，参见 <a href="https://onlinelibrary.wiley.com/doi/10.1111/jpr.12496" target="_blank" >https://onlinelibrary.wiley.com/doi/10.1111/jpr.12496</a>。文献 <a href="https://www.pnas.org/doi/10.1073/pnas.1706589115" target="_blank" >https://www.pnas.org/doi/10.1073/pnas.1706589115</a> 研究了未来思维与决策之间的关系，证实人类会执行面向未来的决策。在需要多智能体交互的场景中（例如社会决策），诸如策略制定等决策能力也具有重要意义。已经有很多研究致力于赋予智能体这种前瞻性的能力，比如有人做了面向智能汽车的多智能体联合的未来轨迹预测、基于时空相关性的短期交通状态预测，但这些多智能体系统预测都只预测了系统整体情况，没有对每个智能体给出预测；有人做了基于改进深度信念网络的横向与纵向驾驶行为预测，也仅预测了智能体的行为，没有显式地将预测结果用于决策上。智能体在搭载 EFT 的情况下，在当前观测和对其他智能体行为的预测的基础上能够预测未来可能的观测，从而做出前瞻性动作。</p>
<p><strong>基于模型的强化学习（MBRL）</strong>：不管是已知环境模型还是使用最大似然估计学习，如果已有环境模型（指代状态转移方程和奖励函数），则可以预测未来轨迹。基于此，智能体可以用一些无模型强化学习用不了的宏观的全局的方法：Dreamer 利用预测轨迹的奖励来优化价值函数，而 MBPO 则将预测轨迹作为增强数据样本进行策略训练，也有工作将这两种算法扩展到了多智能体情况。但是 MBRL 过于理想化，首先必须有全局观测才可能对环境直接建模或者学习，且获取到的数据可能有噪声导致模型存在固有偏差，且智能体越多行为越复杂，这个环境模型就越不好构建。</p>
<p><strong>机器心智理论</strong>：认知科学中存在心智理论（ToM），假设人类先天就能够以类推方式，假定其他人拥有与自己类似的心智，并根据这个假设来观察周围，作出合乎社会期望的反应与行动。或者工程点说，每个人都一个内部模型，人会对别人的内部模型进行估计来预测他的行为，然后做出决策。基于此有人提出了机器心智理论（Machine ToM），给智能体引入 ToM-net 来模拟人的 ToM 能力，ToM-net 包括角色嵌入、心理状态估计、行为预测三个模块，通过观测别的智能体学习他们的潜在意图，预测未来动作；在此基础上有人提出了动态系统 ToM，使用 MDP 实现 ToM；还有人实现了贝叶斯 ToM 框架增强人机团队协作；还有人实现了&quot;推断的推断&quot;框架，使用贝叶斯方法递归地建模多智能体推理过程，智能体不止预测其他智能体的行为，还会预测其他智能体如何看待自己，使用概率图模型捕捉嵌套推理在博弈任务中表现优秀；还有人提出了逆向理性控制，结合 ToM 用以从部分可观测的连续非线性动态中推断智能体的目标和意图，通过学习动态模型和逆向优化推测智能体的行为逻辑（目标函数等）。作者说上面这些套路只适用于智能体少、动作空间小、角色差异不大的场景，我没看出来为什么，但是直观上看计算量和网络复杂度应该是随智能体数量增加而迅速增加的。作者的工作和他们的相比，总的来看就是规定了智能体有哪些类型，提前把对应类型每个智能体的行为给训练出来，然后每个智能体在训练时看别的智能体只需要对号入座就行，另外他也把动作空间从连续的拓展到了混合型。</p>
<p><strong>错误共识效应（False Consensus Effect）</strong>：是说心理学研究中发现，人会倾向于认为自身特质行为等具有普遍性，还是那篇 Machine ToM，他们发现 AI 也会有这个问题。所以作者为了比对 EFT 的重要性，设计了一个基于 FCE 的对照，对比智能体会认为其他智能体的角色与自身角色一致。</p>
<h2 id="基于多角色策略的角色推断">基于多角色策略的角色推断<a href="#%e5%9f%ba%e4%ba%8e%e5%a4%9a%e8%a7%92%e8%89%b2%e7%ad%96%e7%95%a5%e7%9a%84%e8%a7%92%e8%89%b2%e6%8e%a8%e6%96%ad" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<h3 id="多智能体决策的问题表述-ma-pomdp">多智能体决策的问题表述-MA-POMDP<a href="#%e5%a4%9a%e6%99%ba%e8%83%bd%e4%bd%93%e5%86%b3%e7%ad%96%e7%9a%84%e9%97%ae%e9%a2%98%e8%a1%a8%e8%bf%b0-ma-pomdp" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>定义</p>
$$
M = \langle E, S, {O_i}, {A_i}, T, {\Omega_i}, {R_i}, \gamma \rangle_{i \in E} 
$$<p>其中 \(E\) 是智能体的索引集合，连续状态 \(s_t \in S\) ，连续观测 \(o_{t,i} \in O_i\) ，混合动作 \(a_{i,t} = \{ a_{t,i}^c, a_{t,i}^d \} \in A_i\) ，其中 \(a_{t,i}^c\) 是连续动作，离散动作 \(a_{t,i}^d \in A_i^d = \{w: | w | \leq W, w \in \mathbb{Z}, W \in \mathbb{N}\}\) ，离散动作空间规模为 \(|A_i^d| = 2W + 1\) 。</p>
<p>令 \(A := A_1 \times A_2 \times \cdots \times A_N\) ，有 \(T: S \times A \to S\) 是状态转移概率， \(O_i: S \times A \to O_i\) 是观测概率， \(R_i: S \times A \to \mathbb{R}\) 是奖励函数， \(\gamma \in (0, 1)\) 是折扣因子。</p>
<p>时刻 \(t\) 所有智能体动作的无序集合记为 \(a_t = \langle a_{t,1}, \cdots, a_{t,i}, \cdots, a_{t,N} \rangle = \langle a_{t,i}, a_{t,-i} \rangle \in A\) ，其中下标 \(-i\) 表示集合 \(E\) 中除智能体 \(i\) 外所有智能体的索引。因此， \(a_{t,-i} = \langle a_{t,1}, \cdots, a_{t,i-1}, a_{t,i+1} \cdots, a_{t,N} \rangle\) 表示时刻 \(t\) 除 \(a_{t,i}\) 外所有智能体的动作集合。状态转移概率记为 \(T(s_{t+1}|s_t, a_t)\) 。注意，状态转移基于所有智能体的动作组合 \(a_t\) ，而非单个智能体的动作 \(a_{t,i}\) 。</p>
<p>接下来， \(c_i = \{c_{i,1}, c_{i,2}, \cdots, c_{i,K}\} \in C \in \mathbb{R}^K\) 表示智能体 \(i\) 的 \(K\) 维角色向量。角色 \(c_i\) 可以参数化智能体 \(i\) 的奖励函数，即 \(R_{t,i} = R_i(s_t, a_{t,i}, s_{t+1}; c_i)\) 。直观理解：奖励函数取决于当前状态、下一状态、动作以及角色。</p>
<p>智能体的目标是学习最优策略，在给定观测和角色的情况下返回最优动作 \(a^*_{t,i} \sim \pi^*(\cdot|o_{t,i}; c_i)\) 。具体而言，智能体的目标是通过构建最佳策略 \(\pi\) 来最大化期望折扣累积奖励：</p>
$$
J(\pi) = E_\pi \left[ \sum_t \gamma^t R_i(s_t, a_{t,i}, s_{t+1}; c_i) \right]
$$<p>这定义了状态-动作价值函数：</p>
$$
Q^\pi(s, a; c_i) = E_\pi \left[ \sum_t \gamma^t R_i(s_t, a_{t,i}, s_{t+1}; c_i) \bigg| s_0 = s, a_0 = a \right]
$$<h3 id="训练多角色策略">训练多角色策略<a href="#%e8%ae%ad%e7%bb%83%e5%a4%9a%e8%a7%92%e8%89%b2%e7%ad%96%e7%95%a5" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>多角色策略包括连续空间的输入（如观测 \(o_{t,i}\) 和角色 \(c_i\) ）和混合空间的输出（如动作 \(a_{t,i}\) ）。为了构建在连续空间上泛化的策略，作者采用了 Actor-Critic 架构。该架构近似策略 \(\pi_\phi(\cdot|o_{t,i}; c_i)\) 和 Q 函数 \(Q_\theta(o_{t,i}, a_{t,i}; c_i)\) ，其中 \(\phi\) 表示 Actor 网络的参数， \(\theta\) 表示 Critic 网络的参数。</p>
<p>用于训练 Actor 和 Critic 网络的损失函数分别为：</p>
<ul>
<li>\(L(\phi) = -Q_\theta(o_{t,i}, \pi_\phi(\cdot|o_{t,i}; c_i))\)</li>
<li>\(L(\theta) = |y_t - Q_\theta(o_{t,i}, \pi_\phi(\cdot|o_{t,i}; c_i))|^2\)</li>
</ul>
<p>其中， \(y_t = R_{t,i} + Q_{\theta'}(o_{t+1,i}, \pi_{\phi'}(\cdot|o_{t+1,i}; c_i))\) 表示时序差分（TD）目标， \(\theta'\) 和 \(\phi'\) 表示目标网络。</p>
<p>接下来，作者提出了一个后处理器 \(g(\cdot)\) 来处理混合动作空间。设原型动作 \(\bar{a}^d_{t,i}\) 为 Actor 网络的输出。后处理器 \(g(\cdot)\) 通过将连续的原型动作 \(\bar{a}^d_{t,i}\) 离散化为离散的后动作 \(a^d_{t,i}\) 来执行量化过程，即：</p>
$$
a^d_{t,i} = g(\bar{a}^d_{t,i}, W) = \min\left(\left\lfloor \frac{2W + 1}{2W} \left( \bar{a}^d_{t,i} + \frac{W}{2W + 1} \right) \right\rfloor, W\right)
$$<p>其中 \(\lfloor \cdot \rfloor\) 表示向下取整函数。</p>
<p>后处理函数构建过程推导如下，先证明区间映射规则：</p>
$$
a^d_t = w, \text{ 如果 } w - \frac{W + w}{2W + 1} < \bar{a}^d_t \leq w + \frac{W - w}{2W + 1}
$$<p>为了让每个连续值都均匀地映射到某个离散值，区间不重叠没空洞，边界无特殊处理，就需要每个区间的长度都为 \(\frac{2W}{2W + 1}\) ，区间可以写成以 \(w\) 为中心的左右偏移，即：</p>
$$
w - L(w) \leq \bar{a}^d_t < w + R(w)
$$<p>再令连续两个区间边界对齐有：</p>
$$
w + R(w) = (w + 1) - L(w + 1)
$$<p>左右边界需对齐有</p>
$$
\begin{aligned}
L(- W) &= - W \\
R(W) &= W
\end{aligned}
$$<p>设左右偏移随 \(w\) 线性变化，解的表达式为：</p>
$$
\begin{aligned}
L(w) &= w - \frac{W + w}{2W + 1} \\
R(w) &= w + \frac{W - w}{2W + 1}
\end{aligned}
$$<p>该条件可以写成 \(a^d_t = w\) 的范围：</p>
$$
\frac{2W + 1}{2W} \left( \bar{a}^d_t - \frac{W}{2W + 1} \right) \leq w < \frac{2W + 1}{2W} \left( \bar{a}^d_t + \frac{W}{2W + 1} \right)
$$<p>它可以重新表述为：</p>
$$
w = \min\left( \left\lfloor \frac{2W + 1}{2W} \left( \bar{a}^d_t + \frac{W}{2W + 1} \right) \right\rfloor, W \right)
$$<p>其中 \(\min(\cdot, W)\) 防止 \(w\) 超出动作空间 \([-W, W]\) 的范围。这里，在不等式的右侧使用了向下取整函数。在该不等式左侧也可以使用向上取整函数作为替代，配合最大值函数 \(\max(\cdot, -W)\) 。</p>
<p>后处理器函数 \(a^d_t = g(\bar{a}^d_t, W)\) 最终表述如下：</p>
$$
g(\bar{a}^d_t, W) = \min\left( \left\lfloor \frac{2W + 1}{2W} \left( \bar{a}^d_t + \frac{W}{2W + 1} \right) \right\rfloor, W \right)
$$<p>训练时，每个 episode 开始随机选择一个角色 \(c_i\) 应用于该 episode，Actor 仅输出连续值 \(\{ a_{t,i}^c, \bar{a}^d_{t,i} \}\) ，随后通过后处理器 \(g(\cdot)\) 得到离散动作 \(a^d_{t,i}\) 。</p>
<h3 id="推理目标智能体的角色">推理目标智能体的角色<a href="#%e6%8e%a8%e7%90%86%e7%9b%ae%e6%a0%87%e6%99%ba%e8%83%bd%e4%bd%93%e7%9a%84%e8%a7%92%e8%89%b2" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>完成多角色策略的训练后，需要推断目标智能体 \(j \in E\) 的角色 \(c_j\) 。智能体首先收集目标智能体的观测-动作轨迹用于角色推断。随后，它利用多角色策略来识别最能解释收集数据的角色 \(c_j\) ，可以通过最大化观测-动作轨迹的对数似然 \(\ln P(o_{1:T,j}, a_{1:T,j}|c_j)\) 来估计。这可以表述如下：</p>
$$
\hat{c}_j = \arg \max_c \ln P(o_{1:T,j}, a_{1:T,j}|c) = \arg \max_c \sum_{t=1}^T [\ln \pi(a^c_{t,j}|o_{t,j}; c) + \ln \pi(a^d_{t,j}|o_{t,j}; c)]
$$<p>其证明过程如下：</p>
<p>为使上式可计算，我们从对数证据开始，构造一个可优化的下界并逐步分解到策略项。令 \(q(s_{1:T}) := P(s_{1:T} \mid o_{1:T,j}, a_{1:T,j} \mid c)\) （后验状态分布），有：</p>
$$
\hat{c}_j
= \arg\max_c \ln P(o_{1:T,j}, a_{1:T,j} \mid c)
= \arg\max_c \ln \int  P(o_{1:T,j}, a_{1:T,j} \mid c) \, ds_{1:T}
$$<p>等价地，分子分母同乘 \(P(s_{1:T} \mid o_{1:T,j}, a_{1:T,j}; c)\) 可写为：</p>
$$
= \arg\max_c \ln \int P(s_{1:T} \mid o_{1:T,j}, a_{1:T,j}; c) \times \frac {P(s_{1:T}, o_{1:T,j}, a_{1:T,j} \mid c)} {P(s_{1:T} \mid o_{1:T,j}, a_{1:T,j}; c)} \, ds_{1:T}
$$<p>将 \(P(s_{1:T} \mid o_{1:T,j}, a_{1:T,j}; c)\) 视为某随机变量的概率密度函数， \(\frac {P(s_{1:T}, o_{1:T,j}, a_{1:T,j} \mid c)} {P(s_{1:T} \mid o_{1:T,j}, a_{1:T,j}; c)}\) 视为作用于该随机变量上的某函数，对凹函数 \(\ln(\cdot)\) 使用 Jensen 不等式（描述凹凸函数，期望的函数和函数的期望关系的不等式） \(f(\mathbb{E}[X]) \ge \mathbb{E}[f(X)]\) ，得到对数证据的下界（ELBO）：</p>
$$
\geq \arg\max_{c} \int P(s_{1:T} \mid o_{1:T,j}, a_{1:T,j}; c) \times \ln \frac {P(s_{1:T}, o_{1:T,j}, a_{1:T,j} \mid c)} {P(s_{1:T} \mid o_{1:T,j}, a_{1:T,j}; c)} \, ds_{1:T}
$$$$
= \arg\max_{c} \int P(s_{1:T} \mid o_{1:T,j}, a_{1:T,j}; c) \times (\ln {P(s_{1:T}, o_{1:T,j}, a_{1:T,j} \mid c)} - \ln {P(s_{1:T} \mid o_{1:T,j}, a_{1:T,j}; c)}) \, ds_{1:T}
$$<p>
由熵的定义式 \(H(\cdot) = - \int P(\cdot) \ln P(\cdot)\) ，有：</p>
$$
=  \arg\max_{c} \{
\int {P(s_{1:T} \mid o_{1:T,j}, a_{1:T,j}; c)} \ln P(s_{1:T}, o_{1:T,j}, a_{1:T,j} \mid c) \, ds_{1:T} + H[{P(s_{1:T} \mid o_{1:T,j}, a_{1:T,j}; c)}]
\}
$$<p>由于熵 \(H(\cdot) \ge 0\) ，进一步得到更简洁的可优化目标：</p>
$$
\ge \arg\max_c \int P(s_{1:T} \mid o_{1:T,j}, a_{1:T,j}; c) \ln P(s_{1:T}, o_{1:T,j}, a_{1:T,j} \mid c) \, ds_{1:T} \tag{6}
$$<p>接下来用马尔可夫性质分解联合概率：</p>
$$
P(s_{1:T}, o_{1:T,j}, a_{1:T,j} \mid c)
= P(s_1) \prod_{t=1}^T \Omega_j(o_{t,j} \mid s_t)
\prod_{t=1}^T \pi(a_{t,j} \mid o_{t,j}, s_t; c)
\prod_{t=1}^{T-1} T(s_{t+1} \mid s_t, a_t)
$$<p>因此</p>
$$
\arg\max_c \int P(s_{1:T}, o_{1:T,j}, a_{1:T,j} \mid c) [\ln P(s_1) + \sum_{t=1}^T \ln \Omega_j(o_{t,j} \mid s_t) + \sum_{t=1}^T \ln \pi(a_{t,j} \mid o_{t,j}, s_t; c) + \int \sum_{t=1}^{T} \ln T(s_{t+1} \mid s_{t,j}, a_{t,-j})da_{1:T,-j}] ds_{1:T}
$$<p>式中转移概率由于不知道别的智能体的动作所以只能使用期望替代。</p>
<p>由于 \(\ln P(s_1)\) 、 \(\ln \Omega_j(\cdot)\) 、 \(\ln T(\cdot)\) 不依赖于角色 \(c\) ，对 \(c\) 的最大化时可忽略这些项，仅保留与策略相关的项：</p>
$$
= \arg\max_c \int P(s_{1:T}, o_{1:T,j}, a_{1:T,j} \mid c) \sum_{t=1}^T \ln \pi(a_{t,j} \mid o_{t,j}, s_t; c) \, ds_{1:T} 
$$<p>策略在实现上只以观测 \(o_{t,j}\) 作为输入（MA-POMDP 中的 actor 不显式用 \(s_t\) ），因此可以忽略对于状态的积分：</p>
$$
= \arg\max_c \sum_{t=1}^T \ln \pi(a_{t,j} \mid o_{t,j}; c) \tag{9}
$$<p>在混合动作空间下，策略对连续与离散分量进行因子分解： \(\pi(a_{t,j} \mid o_{t,j}; c) = \pi(a^c_{t,j} \mid o_{t,j}; c) \cdot \pi(a^d_{t,j} \mid o_{t,j}; c)\) ，于是</p>
$$
= \arg\max_c \sum_{t=1}^T \Big[
\ln \pi(a^c_{t,j} \mid o_{t,j}; c) + \ln \pi(a^d_{t,j} \mid o_{t,j}; c)
\Big] \tag{10}
$$<p>其中离散分量的观测 \(a^d_{t,j}\) 已由环境产生；训练推断时仅需对策略离散分支在该值上的对数概率求和。</p>
<p>实现上，在每个观测-动作轨迹上，对目标智能体角色的计算式 \(\hat{c}_j\) ，采用梯度上升法优化 \(c_j\) 到最可能的角色，实现某个智能体对目标智能体角色的估计。</p>
<h2 id="基于情景未来思维机制的预见性动作选择">基于情景未来思维机制的预见性动作选择<a href="#%e5%9f%ba%e4%ba%8e%e6%83%85%e6%99%af%e6%9c%aa%e6%9d%a5%e6%80%9d%e7%bb%b4%e6%9c%ba%e5%88%b6%e7%9a%84%e9%a2%84%e8%a7%81%e6%80%a7%e5%8a%a8%e4%bd%9c%e9%80%89%e6%8b%a9" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<h3 id="动作预测">动作预测<a href="#%e5%8a%a8%e4%bd%9c%e9%a2%84%e6%b5%8b" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>在&quot;动作预测&quot;这一步，具备多角色策略的智能体使用&quot;预先推断的角色&quot;与观测，来预测邻近智能体的动作。对目标智能体 \(j\) （ \(j \in E,\, j \ne i\) ），基于已训练的多角色策略 \(\pi_\phi\) 与已推断角色 \(\hat c_j\) 进行预测：</p>
$$
\hat a_{t,j} \sim \pi_\phi(\cdot \mid o_{t,j}; \hat c_j).
$$<p>由此，其他智能体的预测动作集合 \(\hat a_{t,-i}\) 为：</p>
$$
\hat a_{t,-i} = \langle \pi_\phi(o_{t,1}; \hat c_1),\, \cdots,\, \pi_\phi(o_{t,i-1}; \hat c_{i-1}),\, \pi_\phi(o_{t,i+1}; \hat c_{i+1}),\, \cdots,\, \pi_\phi(o_{t,N}; \hat c_N) \rangle.
$$<h3 id="下一观测模拟">下一观测模拟<a href="#%e4%b8%8b%e4%b8%80%e8%a7%82%e6%b5%8b%e6%a8%a1%e6%8b%9f" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>在&quot;下一观测模拟&quot;这一步，我们介绍如何用预测的动作集合 \(\hat a_{t,-i}\) 来模拟智能体的下一观测。注意：该预测来源于智能体 \(i\) 的&quot;脑模拟&quot;，其假设自身在当前时刻未执行动作，即 \(a_{t,i} = \varnothing\) （ \(\varnothing\) 表示&quot;空动作&quot;，即不采取任何动作）。这样做是为了模拟&quot;其他目标智能体均已执行动作、但智能体 \(i\) 尚未执行&quot;的时刻的观测。</p>
<p>定义下一观测模拟函数 \(D(\cdot)\) ：</p>
$$
\hat o_{t+1,i} = D(o_{t,i}, \hat a_{t,-i},\, a_{t,i}=\varnothing).
$$<p>通过 \(\hat a_{t,-i}\) 与当前观测 \(o_{t,i}\) ，即可确定模拟的下一观测 \(\hat o_{t+1,i}\) 。使用 \(\hat o_{t+1,i}\) 进行动作选择，能够让智能体&quot;忽略其他体动作的影响&quot;，因为在脑模拟中，下一状态仅由自身动作 \(a_{t,i}\) 决定——其他体动作的影响已在 \(\hat o_{t+1,i}\) 中提前应用。</p>
<h3 id="动作选择">动作选择<a href="#%e5%8a%a8%e4%bd%9c%e9%80%89%e6%8b%a9" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>当智能体得到模拟的下一观测 \(\hat o_{t+1,i}\) 后，即可进行前瞻性决策。智能体以 \(\hat o_{t+1,i}\) 与自身角色 \(c_i\) 作为输入，使用多角色策略 \(\pi_\phi\) 获得原型动作：</p>
$$
a_{t,i}^\text{proto} = \{a^c_{t,i},\, \bar a^d_{t,i}\} = \pi_\phi(\cdot \mid \hat o_{t+1,i}; c_i),
$$<p>随后应用后处理器 \(g(\cdot)\) 得到执行的离散动作：</p>
$$
a^d_{t,i} \leftarrow g(\bar a^d_{t,i}, W),\quad a_{t,i} = \{a^c_{t,i},\, a^d_{t,i}\}.
$$<p>换言之，智能体能够在&quot;考虑其他体即将采取的行为&quot;的前提下，选择更具适应性的当前动作。</p>
<h2 id="半个结论">半个结论<a href="#%e5%8d%8a%e4%b8%aa%e7%bb%93%e8%ae%ba" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<p>EFT 应该是一个在仅 act 过程中的模块，但是进一步的情况得仔细读代码了，这篇比 AgA 更不好读，公式推导已经给我干废一半了，代码阅读之后再说，粗看他使用的flow 和 rllib 框架，我没用过阅读也有点难度。</p>
<h2 id="1017改">10.17改<a href="#1017%e6%94%b9" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<p>代码这块，我不是很懂他的结构，应该是把各个部分都定义好，然后送到 flow 里训练，很多组件都在 flow 中定义好了。总体来看，训练过程中没有使用到 EFT 模块，只在 act 过程中使用了 EFT 模块。多角色策略的使用和定义在 characterinference 中，里面有轨迹收集和 loss 等，但我确实没有显式地看到训练过程。在 visualize 中只有加载，没有训练过程，训练过程在 train_rllib 中，但没有显式的训练结构。他提到的角色向量是指奖励中各部分的权重所构成的权重向量，使用训练好的多角色策略结合当前观测和权重向量即可获知下一个 action。他的状态转移非常简单，所以可以在不动用环境的前提下直接算出来，然后智能体根据下个状态做行动。思路就是这么个思路，细节一些的就有点难找了，譬如哪些信息是全局的、哪些又是局部的等等，只能借鉴思路了，迁移应该不大简单。</p>
<p>实验就不看了我觉得既然不方便迁移我就觉得没必要。</p>
]]></content></item><item><title>AgA阅读</title><link>https://blog.hieros.me/zh/posts/aga/</link><pubDate>Wed, 15 Oct 2025 23:00:00 +0800</pubDate><author>BLESS</author><guid>https://blog.hieros.me/zh/posts/aga/</guid><description>NIPS2024论文笔记——AgA</description><content type="text/html" mode="escaped"><![CDATA[<h1 id="多智能体协作中个体与集体目标的对齐">多智能体协作中个体与集体目标的对齐<a href="#%e5%a4%9a%e6%99%ba%e8%83%bd%e4%bd%93%e5%8d%8f%e4%bd%9c%e4%b8%ad%e4%b8%aa%e4%bd%93%e4%b8%8e%e9%9b%86%e4%bd%93%e7%9b%ae%e6%a0%87%e7%9a%84%e5%af%b9%e9%bd%90" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h1>
<p>看着很高级，还是国人写的，感觉应该会很有收获，作者主要在曼彻斯特大学和上交，可惜没代码，什么时候复现试试。</p>
<p>论文地址： <a href="https://nips.cc/virtual/2024/poster/96810" target="_blank" >https://nips.cc/virtual/2024/poster/96810</a></p>
<h2 id="前置知识">前置知识<a href="#%e5%89%8d%e7%bd%ae%e7%9f%a5%e8%af%86" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<p>我吃了不会数学的亏，先研究了一下博弈。</p>
<p>简单入门基础概念可以看 <a href="https://copy2049.github.io/blog/html/2020/11/Game-Theory.html" target="_blank" >https://copy2049.github.io/blog/html/2020/11/Game-Theory.html</a> ，感觉不错，短小精悍。</p>
<h3 id="混合动机博弈">混合动机博弈<a href="#%e6%b7%b7%e5%90%88%e5%8a%a8%e6%9c%ba%e5%8d%9a%e5%bc%88" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p><strong>Mixed-Motive Game</strong>，是指合作和竞争并存、非零和的博弈。合作和竞争是指智能体既要考虑整体目标，又要考虑个体目标，既有可能合作扩大整体利益，也有可能破坏合作扩大自身利益；非零和是指智能体间的总体利益不是一个常数。</p>
<h3 id="可微分博弈">可微分博弈<a href="#%e5%8f%af%e5%be%ae%e5%88%86%e5%8d%9a%e5%bc%88" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p><strong>differential game</strong>，一种运用在动态系统中的博弈理论，主要研究在连续时间的过程中，多方参与者如何进行策略选择，以实现自己的目标。这种博弈和 MARL 的随机博弈略有差异，侧重点不一样：可微博弈强调策略可微，重点研究的是优化方法；随机博弈强调环境的动态和不确定性，重点研究的是策略互动。</p>
<h2 id="摘要">摘要<a href="#%e6%91%98%e8%a6%81" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<p>作者将多智能体学习中的混合动机博弈建模为可微分博弈，以解决个体目标和集体目标的协调问题，避免人工的奖励设计。提出了名为**利他梯度调整（AgA）**的优化方法，通过梯度调整逐步协调个体与集体目标，从理论上证明了 AgA 在兼顾个体利益的同时能将梯度有效吸引至集体目标的稳定不动点，并做了验证。</p>
<h2 id="介绍">介绍<a href="#%e4%bb%8b%e7%bb%8d" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<p>多智能体合作主要分为两大研究方向：<strong>纯动机合作</strong>和<strong>混合动机合作</strong>。纯动机合作是指智能体只考虑整体目标，竞争不明显；混合动机合作是指智能体既要考虑整体目标，又要考虑个体目标，竞争与合作并存。</p>
<p>在混合动机合作方向下，目前促进合作的方式依赖于人工设计某些机制，譬如：</p>
<ul>
<li><strong>声誉体系</strong>：通过记录智能体过去的行动（例如是否合作、是否遵守规则），为其分配声誉分数。其他智能体会根据声誉选择是否与其交互；</li>
<li><strong>规范约束</strong>：智能体集体可以制裁不遵循社会规范的智能体，规范约束减少不合作或有害行为；</li>
<li><strong>契约机制</strong>：智能体通过&quot;签约&quot;同意遵循特定规则，执行特定任务，并根据契约条款获得奖励或惩罚。</li>
</ul>
<p>还有将个体奖励与集体奖励相融合的研究；偏好奖励研究，通过分析其他智能体的奖励或行为，偏好信号为智能体提供&quot;社会线索&quot;，鼓励利他；学习智能体行为对他人产生的潜在影响。</p>
<p>贡献总结这块有个点值得注意一下，作者开发了一个名为 <strong>selfish-MMM2</strong> 的大规模混合动机协作环境，同时在多个场景里验证了所提出的算法。</p>
<h2 id="背景介绍">背景介绍<a href="#%e8%83%8c%e6%99%af%e4%bb%8b%e7%bb%8d" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<h3 id="可微分博弈-1">可微分博弈<a href="#%e5%8f%af%e5%be%ae%e5%88%86%e5%8d%9a%e5%bc%88-1" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>微分博弈可以定义为 \(\{N, w, l\}\)，其中 \(N = \{1, \ldots, n\}\) 表示玩家集合，\(w = [w_i]^n \in \mathbb{R}^d\) 代表所有玩家的参数集合，其中 \(w_i \in \mathbb{R}^d\) 是第 \(i\) 个玩家的参数向量，\(d = \sum_{i=1}^n d_i\) 是每个玩家参数向量的维度的综合。损失函数定义为 \(l = \{l_i : \mathbb{R}^d \to \mathbb{R}\}_{i=1}^n\)，损失函数至少二阶可微，每个玩家 \(\{i \in N\}\) 都有一个策略，这个策略由参数 \(w_i\) 确定，目标是最小化损失函数 \(l_i\)。</p>
<p>定义 \(\xi(w) = (\nabla_{w_i} l_i, \ldots, \nabla_{w_n} l_n) \in \mathbb{R}^d\) 为玩家的梯度集合，命名为<strong>同时梯度</strong>，\(\nabla_{w_i} l_i\) 是损失函数 \(l_i\) 对玩家 \(i\) 参数 \(w_i\) 的梯度。微分博弈中<strong>黑塞矩阵</strong>被定义为同时梯度的雅各比矩阵，即 \(H(w) = (\nabla_{w_i} \nabla_{w_j} l_i, \ldots, \nabla_{w_i} \nabla_{w_n} l_n) \in \mathbb{R}^{d \times d}\)。</p>
<p>黑塞矩阵是一个多元函数所有二阶偏导构成的矩阵，雅各比矩阵则是对一个多元函数在某一个点上求梯度的结果。这样描述不够准确，给出严谨定义：假设某多元函数从 \(f : \mathbb{R}^n \to \mathbb{R}^m\) 即从向量 \(x \in \mathbb{R}^n\) 映射到向量 \(f(x) \in \mathbb{R}^m\)，其雅各比矩阵是一个 \(m \times n\) 的矩阵：</p>
$$
\mathbf{J}
= \left[ \frac{\partial \mathbf{f}}{\partial x_1} \quad \cdots \quad \frac{\partial \mathbf{f}}{\partial x_n} \right]
= \begin{bmatrix}
\frac{\partial f_1}{\partial x_1} & \cdots & \frac{\partial f_1}{\partial x_n} \\
\vdots & \ddots & \vdots \\
\frac{\partial f_m}{\partial x_1} & \cdots & \frac{\partial f_m}{\partial x_n}
\end{bmatrix}
$$<p>不严谨地说，是指每个方向的分函数对于输入向量的每个元素的偏导，组成一个 \(m \times n\) 的矩阵，或者说对每个方向的分函数求梯度，组成一个 \(m \times n\) 的矩阵。</p>
<p>由于同时梯度是每个玩家的损失对自身参数的梯度，即</p>
$$
\xi(w)=
\begin{bmatrix}
\nabla_{w_1}l_1 \\[4pt]
\nabla_{w_2}l_2 \\[4pt]
\vdots \\[4pt]
\nabla_{w_n}l_n
\end{bmatrix}
\in \mathbb{R}^{d}
$$<p>由于参数向量 \(w\) 是 \(d\) 维向量，所以同时梯度也是 \(d\) 维向量，再对 \(w\) 计算雅各比矩阵，得到黑塞矩阵：</p>
$$
H(w) = \mathbf{J}^T \mathbf{J}
= \begin{bmatrix}
\nabla_{w_1} \nabla_{w_1} l_1 & \cdots & \nabla_{w_1} \nabla_{w_n} l_n \\
\vdots & \ddots & \vdots \\
\nabla_{w_n} \nabla_{w_1} l_1 & \cdots & \nabla_{w_n} \nabla_{w_n} l_n
\end{bmatrix}
$$<p>其中每个元素 \(H_{ij}= \frac{\partial^{2} l_i}{\partial w_i \partial w_j}\) 表示玩家 \(i\) 的损失函数 \(l_i\) 关于自身参数 \(w_i\) 与玩家 \(j\) 的参数 \(w_j\) 的二阶混合偏导，刻画了玩家 \(j\) 的策略变化对玩家 \(i\) 的交叉影响，其对角线元素为玩家 \(i\) 损失函数 \(l_i\) 关于自身参数 \(w_i\) 的二阶偏导，即 \(H_{ii} = \frac{\partial^{2} l_i}{\partial w_i^2}\)。这就是微分博弈中黑塞矩阵被定义为同时梯度的雅各比矩阵的含义。</p>
<p>作者提到的微分博弈的<strong>学习动态</strong>是一阶方法例如梯度下降，不显式使用黑塞矩阵，可以表示为：</p>
$$
w_{t+1} \leftarrow w_t - \alpha_t \xi(w_t)
$$<p>其中 \(\alpha_t\) 是学习率，\(\xi(w_t)\) 是同时梯度。这一更新规则意味着所有玩家在同一时刻沿着自身损失函数的负梯度方向同步调整参数，各自独立地最小化自身损失。</p>
<h3 id="梯度调整优化">梯度调整优化<a href="#%e6%a2%af%e5%ba%a6%e8%b0%83%e6%95%b4%e4%bc%98%e5%8c%96" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p><strong>梯度调整优化</strong>就我理解是指在微分博弈中如何让玩家的策略向<strong>稳定不动点</strong>方向调整，与 MARL 结合，其核心应该是促进收敛，减少循环和不稳定性。</p>
<p>首先是<strong>不动点</strong>的概念，在微分博弈中，若 \(w^*\) 是一个不动点，则说明该点处<strong>同时梯度</strong> \(\xi(w^*) = 0\)，即所有玩家没有动力更新其策略；在不动点 \(w^*\) 处，若<strong>黑塞矩阵</strong> \(H(w^*)\) 为半正定矩阵且可逆时，\(w^*\) 称为<strong>稳定不动点</strong>，若黑塞矩阵 \(H(w^*)\) 为负定矩阵，则 \(w^*\) 称为<strong>不稳定不动点</strong>。</p>
<p>一种朴素的引导学习动态收敛到不动点的思路是，最小化同时梯度的平方范数，也是构造了一个<strong>李雅普诺夫函数</strong>，即：</p>
$$
\min{\frac{1}{2} \| \xi(w) \|^2}
$$<p>因为，这个就不推了，我矩阵论水平很次</p>
$$
\nabla{\frac{1}{2} \| \xi(w) \|^2} = H^T\xi
$$<p>当 \(H(w^*)\) 可逆时，\(H^T\xi = 0\) 等价于 \(\xi = 0\)，即在黑塞矩阵可逆时，最小化同时梯度的平方范数，等价于寻找一个不动点，直观地看这个点可能是不稳定的。</p>
<p>还有一种叫**共识优化（CGA）**的方法，引入梯度调整项，然后使用调整过的同时梯度进行更新：</p>
$$
\tilde{\xi} = \xi + \lambda \cdot \nabla\tfrac{1}{2} \| \xi(w) \|^2
$$<p>还有<strong>辛梯度下降（SGA）</strong>，也引入了一个修改项，即：</p>
$$
\tilde{\xi} = \xi + \lambda \cdot A^T\xi
$$<p>其中 \(A^T\) 是黑塞矩阵的<strong>广义亥姆霍兹分解</strong>，简单说就是对称反对称分解，即：</p>
$$
S = \frac{1}{2} (H(w) + H(w)^T)
A = \frac{1}{2} (H(w) - H(w)^T)
$$<p>\(A\) 是黑塞矩阵的<strong>反对称部分</strong>，在零和博弈中，\(A \approx H\) SGA 退化为 CGA，一般和博弈中，只使用反对称部分更新，为什么效果好，我没看懂，效果好的原因参见 <a href="https://arxiv.org/abs/1802.05642" target="_blank" >https://arxiv.org/abs/1802.05642</a>。</p>
<h2 id="主要方法">主要方法<a href="#%e4%b8%bb%e8%a6%81%e6%96%b9%e6%b3%95" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<h3 id="混合动机微分博弈">混合动机微分博弈<a href="#%e6%b7%b7%e5%90%88%e5%8a%a8%e6%9c%ba%e5%be%ae%e5%88%86%e5%8d%9a%e5%bc%88" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p><strong>可微分混合动机博弈（Differentiable Mixed-Motive Game, DMG）</strong>，基本定义与微分博弈一致，区别在于可微的损失函数具有<strong>混合动机特性</strong>：个体目标与集体目标之间存在冲突；除去同时梯度外，定义<strong>集体损失梯度</strong> \(\xi_c(w) = (\nabla_{w_1} l_c, ..., \nabla_{w_n} l_c)\)。</p>
<p>微分混合动机博弈中存在<strong>对齐困境</strong>，分别优化个体损失和集体损失，会导致玩家策略向不同方向调整。如果使用梯度下降法对集体损失进行优化，如果存在<strong>奇异点</strong>，即梯度为零但黑塞矩阵奇异的点，那么梯度下降无法收敛到这个点。</p>
<p>作者举了一个例子阐述他的优化方法：</p>
<p>一个两玩家的可微分博弈，玩家 1 的损失函数为
</p>
$$l_1(a_1, a_2) = -\sin(a_1 a_2 + a_2^2)$$<p>
玩家 2 的损失函数为
</p>
$$l_2(a_1, a_2) = -[\cos(1+a_1-(1+a_2)^2+a_1a_2^2)]$$<p>
其中 \(a_i\) 表示玩家 \(i \in \{1, 2\}\) 的动作变量，且 \(a_i \in \mathbb{R}\)，每个玩家的奖励为损失函数的相反数，定义 \(l_c = l_1 + l_2\) 为<strong>集体损失函数</strong>。</p>
<p>作者对比了四种方法：没有改进的学习动态、CGA、SGA、使用集体损失的学习动态。结论是，前三种方法只能将解收敛到不稳定点和局部最大值，而使用集体损失可以将解收敛到集体奖励的稳定不动点，但是玩家 1 的奖励没有收敛到一个不动点，这表明更新没有考虑到玩家 1 的个体目标。</p>
<h3 id="aga---利他梯度调整">AgA - 利他梯度调整<a href="#aga---%e5%88%a9%e4%bb%96%e6%a2%af%e5%ba%a6%e8%b0%83%e6%95%b4" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>类似于 CGA 和 SGA 的思路，<strong>AgA</strong> 引入了一个<strong>梯度调整项</strong>，即：</p>
$$
\tilde{\xi} = \xi_c + \lambda\xi_{adj} = \xi_c + \lambda (\xi + H_c^T\xi_c)
$$<p>其中 \(\lambda \in \mathbb{R}\) 是一个<strong>对齐系数</strong>，\(\lambda\xi_{adj}\) 是梯度调整项，\(\xi_c\) 是<strong>集体损失梯度</strong>，在集体梯度的基础上，调整项给它做修正，\(H_c^T\) 是集体损失黑塞矩阵的转置。注意，黑塞矩阵 \(H_c\) 是一个对称矩阵，该形式只是为了和 CGA 和 SGA 的形式保持一致，定义 \(\nabla \mathcal{H}_c\) 为 \(\nabla_w\frac{1}{2} \| \xi(w) \|^2\)，等价于 \(H_c^T\xi_c\)，前文有说明，在该公式里不需要直接算黑塞矩阵而是计算黑塞矩阵和同时梯度向量的积，速度很快。</p>
<p>在选择合适的 \(\lambda\) 时，AgA 可以确保稳定地收敛到<strong>稳定不动点</strong>即
</p>
$$
\theta(\tilde{\xi}, \nabla \mathcal{H}_c) \leq \theta(\xi_c, \nabla \mathcal{H}_c) 
$$<p>也会远离<strong>不稳定的不动点</strong>即</p>
$$
\theta(\tilde{\xi}, \nabla \mathcal{H}_c) \geq \theta(\xi_c, \nabla \mathcal{H}_c) 
$$<p>当且仅当 \(\lambda\) 满足</p>
$$
\lambda \cdot \langle\xi_c, \nabla\mathcal{H}_c\rangle\,(\langle\xi, \nabla\mathcal{H}_c\rangle + \|\nabla\mathcal{H}_c\|^2) \geq 0.
$$<p>其中 \(\theta(a, b)\) 是向量夹角，\(\langle a, b\rangle\) 是向量内积，使用 \(\tilde{\xi} = u + \lambda v\) 表示 AgA 的调整梯度，\(u\) 是 \(\xi_c\)，\(v\) 是 \(\xi + H_c^T\xi_c\)。</p>
<p>定义 \(\theta_\lambda(\tilde\xi, w)\) 是 AgA 梯度和参考更新方向的夹角。</p>
<p>拓展<strong>微分对齐</strong>的定义到 AgA 梯度，使用余弦相似度的平方定义 AgA 梯度与参考更新方向的吻合程度，考虑局部变化所以对 \(\lambda\) 求导，反映 \(\lambda = 0\) 的两侧 AgA 梯度的变化率，即：</p>
$$
\text{align}(\tilde\xi, w) := \frac{d\{\cos^2\theta_\lambda\}_{|\lambda=0}}{d\lambda}
$$<p>直观上，当 \(u^Tw \geq 0\)，\(u\) 与 \(w\) 同方向时，若 \(\text{align} > 0\)，\(v\) 驱动 \(u\) 向参考方向靠拢，若 \(\text{align} < 0\)，\(v\) 推动 \(u\) 向远离参考方向，若 \(u\) 与 \(w\) 方向不一致，\(v\) 会牵引 \(u\) 向参考方向趋近。</p>
<p>令 \(w = \nabla \mathcal{H}_c\) 给出<strong>对齐方向判定法</strong>，</p>
$$
\text{sign}(\text{align}(\tilde\xi, \nabla \mathcal{H}_c)) = \text{sign}(\langle\xi_c, \nabla\mathcal{H}_c\rangle(\langle\xi, \nabla\mathcal{H}_c\rangle + \|\nabla\mathcal{H}_c\|^2))
$$<p>NIPS2024 下载的原文这块有个公式脚标写错了，证明结论和给出的公式不一样，这块给出的公式是修改过的了，证明过程就不写了，概括为把余弦相似的平方展开，带入 \(\tilde\xi\) 的定义式，分子对 \(\lambda\) 做一阶等价无穷小近似，然后进一步展开，分母为平方项，微分对齐的定义为 \(\lambda = 0\) 时的一阶导的值，公式的一阶导的符号与分母无关，由泰勒恒等式分子的一阶导为上文提到的公式。</p>
<p>对于对齐方向判定公式，对于 \(\langle\xi_c, \nabla\mathcal{H}_c\rangle\) 显然等于 \(\xi_c^T H_C \xi_c\)，由于 \(H_C\) 是对称矩阵，假设 \(\xi_c \neq 0\)，有若 \(H_c\) 半正定，则 \(\langle\xi_c, \nabla\mathcal{H}_c\rangle \geq 0\)，若 \(H_c\) 负定，则 \(\langle\xi_c, \nabla\mathcal{H}_c\rangle < 0\)。</p>
<p>此处相当于是对前文的直观理解给出了一个<strong>分类讨论</strong>：</p>
<ul>
<li>
<p><strong>情形一（稳定不动点附近）</strong>：
若 \(\langle \xi_c, \nabla \mathcal{H}_c \rangle \ge 0\)，则 \(\xi_c\) 与 \(\nabla \mathcal{H}_c\) 指向相同方向，即 \(\theta(\xi_c, \nabla \mathcal{H}_c) \le \frac{\pi}{2}\)。当 \(\langle \xi_c, \nabla \mathcal{H}_c \rangle \ge 0\) 时，align\((\tilde{\xi}, \nabla \mathcal{H}_c)\) 的符号与 \(\langle \xi, \nabla \mathcal{H}_c \rangle + \|\nabla \mathcal{H}_c\|^2\) 的符号一致。若令</p>
$$
  sign(\lambda) = sign(\langle \xi, \nabla \mathcal{H}_c \rangle + \|\nabla \mathcal{H}_c\|^2) = sign(align)
  $$<p>有：</p>
<ul>
<li>当 sign(align) \(\ge 0\) 时，sign\((\lambda) \ge 0\)，向量 \(v\) 将把 \(u\) 拉向 \(w\)；</li>
<li>当 sign(align) \(< 0\) 时，sign\((\lambda) < 0\)，负的 \(\lambda\) 反向作用，使 \(v\) 将 \(u\) 推离 \(w\)</li>
</ul>
<p>因此，只要令 sign\((\lambda)=\)sign\((\langle \xi, \nabla \mathcal{H}_c \rangle + \|\nabla \mathcal{H}_c\|^2)\)，\(v\) 均能确保 \(u\) 被拉向 \(w\)。</p>
<p>在稳定不动点邻域内，若令</p>
$$
  \lambda \cdot \langle \xi_c, \nabla \mathcal{H}_c \rangle (\langle \xi, \nabla \mathcal{H}_c \rangle + \|\nabla \mathcal{H}_c\|^2) \ge 0
  $$<p>则 AgA 梯度 \(\tilde{\xi}\) 相比 \(\xi_c\) 更靠近 \(\nabla \mathcal{H}_c\)。</p>
</li>
<li>
<p><strong>情形二（不稳定不动点附近）</strong>：
证明思路与情形一相似。若令 sign\((\lambda)\) 满足同样条件</p>
$$
  \lambda \cdot \langle \xi_c, \nabla \mathcal{H}_c \rangle (\langle \xi, \nabla \mathcal{H}_c \rangle + \|\nabla \mathcal{H}_c\|^2) \ge 0
  $$</li>
</ul>
<p>则优化过程具有下述性质：在不动点邻域，</p>
<ol>
<li>若该点稳定，AgA 梯度被拉向该点，即 \(\theta(\tilde{\xi}, \nabla \mathcal{H}_c) \le \theta(\xi_c, \nabla \mathcal{H}_c)\)；</li>
<li>若该点不稳定，AgA 梯度被推出该点，即 \(\theta(\tilde{\xi}, \nabla \mathcal{H}_c) \ge \theta(\xi_c, \nabla \mathcal{H}_c)\)。</li>
</ol>
<p>这个证明很大程度上是说为什么 \(\lambda\) 要满足 \(\lambda \cdot \langle \xi_c, \nabla \mathcal{H}_c \rangle (\langle \xi, \nabla \mathcal{H}_c \rangle + \|\nabla \mathcal{H}_c\|^2) \ge 0\)，没有说明一定会收敛到稳定不动点，只是说明在稳定不动点附近，\(\lambda\) 满足条件时，AgA 梯度会向稳定不动点靠拢，可能在别的论文里证明过了等等。</p>
<h2 id="其他">其他<a href="#%e5%85%b6%e4%bb%96" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<p>其他都是实验了，先写这么多，等到复现成了这份工作再详细介绍原文中只提了一小段的 AgA 怎么和 MAPPO 集成。</p>
]]></content></item><item><title>JaxMARL阅读</title><link>https://blog.hieros.me/zh/posts/jaxmarl/</link><pubDate>Mon, 13 Oct 2025 08:56:59 +0800</pubDate><author>BLESS</author><guid>https://blog.hieros.me/zh/posts/jaxmarl/</guid><description>NIPS2024论文笔记——JaxMARL</description><content type="text/html" mode="escaped"><![CDATA[<h1 id="在jax中多智能体强化学习环境和算法">在JAX中多智能体强化学习环境和算法<a href="#%e5%9c%a8jax%e4%b8%ad%e5%a4%9a%e6%99%ba%e8%83%bd%e4%bd%93%e5%bc%ba%e5%8c%96%e5%ad%a6%e4%b9%a0%e7%8e%af%e5%a2%83%e5%92%8c%e7%ae%97%e6%b3%95" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h1>
<p>这篇笔记算算是NIPS论文精读的第一步，还是得精读论文来学习，乱找别人的总结还是不能加深对方向现状的理解。这次选的是JaxMARL，一篇NIPS2024关于MARL的论文。NIPS2024总共4538篇论文，Topic明确为MARL的只有33篇，这方向，，，，回头再看看别的顶刊，顶会的情况再下判断。</p>
<p>论文链接： <a href="https://doi.org/10.48550/arXiv.2311.10090" target="_blank" >https://doi.org/10.48550/arXiv.2311.10090</a></p>
<p>代码链接： <a href="https://github.com/flairox/jaxmarl" target="_blank" >https://github.com/flairox/jaxmarl</a></p>
<h2 id="介绍">介绍<a href="#%e4%bb%8b%e7%bb%8d" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<p>强化学习环境通常运行在CPU上，效率比较低，需要通过硬件加速和并行化来解决这个问题，简单来说就是把环境搬到GPU上跑。要在GPU上跑环境需要很多非Python代码的支持，好在这些基础工作已经有人做了，JAX可以在GPU上实现并行化和即时编译，在此基础上又诞生了PureJaxRL，直接在GPU上并行跑训练，<strong>比CPU快了4000倍</strong>，让大规模强化学习算法的实现变得可能。JAXMARL就是在PureJaxRL、JAX等的基础上搭建的一个MARL基准，包含了环境和算法的GPU运算实现。</p>
<p>作者还提到一个有趣的现象：在近75篇MARL论文中，<strong>50%只用了一个评估环境，30%用了两个</strong>。所以他们实现了很多环境，希望大家能在多种场景下进行评估。其中重点实现了SMAX和STORM，SMAX是对SMAC（星际争霸2多智能体环境）的近似实现，定制化程度更高，<strong>速度快了40000倍</strong>；STORM是受 melting pot 启发开发的一个博弈环境，后文介绍STORM。关于速度提升，作者列举了很多数字，我觉得最核心的数字是<strong>12500倍</strong>，在向量化多环境下。</p>
<h2 id="smax">SMAX<a href="#smax" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<p>SMAC有一些局限性，对复杂策略缺乏足够的随机性（可以参考&quot;An improved benchmark for cooperative multi-agent reinforcement learning&quot;这篇文章），<strong>开环策略——也就是仅依赖时间步、不需要观测的策略，在SMAC环境中居然表现不错</strong>。而且SMAC环境内存占用大、速度慢，所以作者提出了SMAX环境，和SMAC类似但更轻量化，有着不容易被智能体钻空子的AI，包含了SMAC的场景和SMACv2的类似场景，定制性很高。</p>
<h2 id="storm">STORM<a href="#storm" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<p>STORM全称是Spatial-Temporal Representations of Matrix Games，中文应该是矩阵博弈时空表征环境。先说说矩阵游戏的概念，就像囚徒困境那样，表现形式是这样的：</p>
<table>
	<thead>
			<tr>
					<th>玩家1 \ 玩家2</th>
					<th>合作</th>
					<th>背叛</th>
			</tr>
	</thead>
	<tbody>
			<tr>
					<td><strong>合作</strong></td>
					<td>(3, 3)</td>
					<td>(0, 5)</td>
			</tr>
			<tr>
					<td><strong>背叛</strong></td>
					<td>(5, 0)</td>
					<td>(1, 1)</td>
			</tr>
	</tbody>
</table>
<p>表格中的数字表示(玩家1收益, 玩家2收益)。可以看到，如果双方都合作，各得3分；如果一方背叛一方合作，背叛者得5分，合作者得0分；如果双方都背叛，各得1分。囚徒困境的博弈点在于：虽然双方合作是最优解，但每个玩家都有背叛的动机，因为无论对方选择什么，背叛总能带来更高的个人收益，最终导致双方都选择背叛，陷入次优均衡。</p>
<p>其中每个智能体只能选择合作或者背叛，这样的设定太抽象了，或者说太简单了。所以就有了Melting Pot的In the Matrix游戏。这个环境我还不太了解，相关论文在 <a href="https://doi.org/10.48550/arXiv.2211.13746" target="_blank" >https://doi.org/10.48550/arXiv.2211.13746</a> ，后面再读读这篇文章。总之这是一个用来衡量多智能体博弈、合作、竞争等情况的环境，具有很强的社会性，看起来挺有意思的。STORM在Melting Pot的基础上加入了随机性要素。</p>
<h2 id="其他环境">其他环境<a href="#%e5%85%b6%e4%bb%96%e7%8e%af%e5%a2%83" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<ul>
<li><strong>Hanabi</strong>：花火，完全合作式部分可观测卡牌游戏，详细资料可以参照 <a href="https://zh.wikipedia.org/wiki/%E8%8A%B1%E7%81%AB_%28%E5%8D%A1%E7%89%8C%E9%81%8A%E6%88%B2%29" target="_blank" >https://zh.wikipedia.org/wiki/%E8%8A%B1%E7%81%AB_(%E5%8D%A1%E7%89%8C%E9%81%8A%E6%88%B2)</a> ，是零样本协作、心智理论与临时团队研究的基准。</li>
<li><strong>Overcooked</strong>：分手厨房，用于评估完全合作式全可观测人机协作任务的性能，玩过的都知道，详细资料可以参照 <a href="https://doi.org/10.48550/arXiv.1910.05789" target="_blank" >https://doi.org/10.48550/arXiv.1910.05789</a> ，没想到19年就有人拿分手厨房做RL环境了。</li>
<li><strong>MABrax</strong>：源于多智能体MuJoCo，是连续多智能体机器人控制任务的常用基准。</li>
<li><strong>Multi-Agent Particle Environment（MPE）</strong>：基于简单物理规则的2D世界，粒子智能体可以移动、通信并与固定地标交互。</li>
<li><strong>硬币游戏</strong>：模拟社会困境的双玩家网格世界环境，虽然是一般和博弈的常用基准，但STORM修正了其既有缺陷。</li>
<li><strong>开关谜题</strong>：作为调试工具的简易合作通信任务。</li>
</ul>
<h2 id="算法">算法<a href="#%e7%ae%97%e6%b3%95" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<p>作者使用PureJaxRL实现了IPPO和MAPPO，参照PyMARL实现了IQL、VDN和QMIX。</p>
<h2 id="使用推荐">使用推荐<a href="#%e4%bd%bf%e7%94%a8%e6%8e%a8%e8%8d%90" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<p>作者特别强调，这个基准环境被设计来推动<strong>CTDE、零试协调、一般和博弈、协作式连续动作</strong>这四个领域的研究，建议的评估如下：</p>
<table>
	<thead>
			<tr>
					<th>研究领域</th>
					<th>推荐环境</th>
			</tr>
	</thead>
	<tbody>
			<tr>
					<td>CTDE</td>
					<td>SMAX（全部场景）、Hanabi（2–5 人）、Overcooked</td>
			</tr>
			<tr>
					<td>零试协调</td>
					<td>Hanabi（2 人）、Overcooked（5 个基础场景）</td>
			</tr>
			<tr>
					<td>一般和博弈</td>
					<td>STORM（重复囚徒困境）、STORM（匹配硬币）</td>
			</tr>
			<tr>
					<td>协作式连续动作</td>
					<td>MABrax</td>
			</tr>
	</tbody>
</table>
<p>作者提出了一套评估指标计算方法：先对算法在相关环境类别上的表现进行标准化，计算每个随机种子的平均性能。然后，在每个环境中，基于这些汇总的统计数据计算四分位均值。这种方法可以对环境类别进行公平比较，不会因为某些类别包含更多独立场景而使其权重过高。他们还写了算指标的代码，可以直接用。</p>
<h2 id="性能评估">性能评估<a href="#%e6%80%a7%e8%83%bd%e8%af%84%e4%bc%b0" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<p>具体的对比情况还是直接看原文比较方便，这里给出作者的结论：在单个GPU上训练，对于MPE环境下的QMIX算法，只需要<strong>198.4秒就能完成1024次独立训练任务</strong>，而基于PyMARL的单一训练需要1小时10分钟，相当于每个智能体实现了<strong>21,500倍的加速比</strong>。附录中对IPPO算法的重复实验显示加速比为<strong>12,500倍</strong>。图5c展示了采用JaxMARL的IPPO实现在SMAX环境对比PyMARL在SMAC环境训练所获得的加速效果：在不同数量的环境推演线程下，JaxMARL最高可以实现<strong>31倍的加速比</strong>。</p>
<p>他们还对每个环境的实现效果进行了评估，这里就不详细说了。按照他们的说法，自然是和环境的经典实现效果上差别不大，部分有改进和简化在后文有说明，可以放心使用。相关工作和结论部分就不看了。</p>
<h2 id="附录">附录<a href="#%e9%99%84%e5%bd%95" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h2>
<p>附录里写了前面提到的每个环境的介绍，还有算法、API、环境的详细评估、默认超参等等，很细致。这里只聊聊他们实现的环境，其他部分还不如直接跑跑代码，看看文档。</p>
<h3 id="smax-1">SMAX<a href="#smax-1" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>说说一些重点差异。首先单位被建模成二维世界的一个圆，支持智能体自我对抗，还能自定义单位类型。观测方面：每个智能体可以感知视野范围内所有友方与敌方单位的生命值、上一步动作、位置坐标、武器冷却状态及单位类型，采用《星际争霸II》设定的动态视野与攻击范围，而不是SMAC的固定数值。奖励方面：SMAC的伤害输出在奖励中的占比会随智能体的数量进行线性缩放，SMAX把奖励均分为伤害输出和对战胜负，解决了在很多智能体的情况下伤害输出占比过大的问题，比如在27m_vs_30m场景里，随机策略甚至能得10/20，大部分奖励都来自于伤害输出。</p>
<p>AI这块，SMAX的AI是去中心化的，而SMAC和SMACv2的AI是中心化的，据说可以在去中心化的前提下达到和中心化AI一样的强度，不过这样<strong>从原理上保证任何低于50%的胜率都代表明确的学习失败</strong>，因为算法可以直接复制AI的策略。</p>
<p>执行上，SMAX部分动作是同步执行的，可能导致平局发生，此时双方奖励均为0。每个环境步包括8个小时间步，动作是离散的，由四向移动、停止及针对每个敌人的射击构成。</p>
<p>设定上，移除了异虫的回血机制（因为这对训练的影响很微弱，只有0.38/s），星灵的护盾机制（脱战10s开始回护盾，在微操任务中基本没用，以生命值补偿替代），删除了一些单位，比如医疗运输机、巨像、爆虫等，进行环境的精简。可惜了，不能看到智能体枪兵甩毒爆，运输机闪光头了。</p>
<p>初始位置生成机制和SMACv2一致，不过在&quot;surrounded&quot;这种初始位置设定下，盟友和敌人的初始位置是对称生成的，保证了50%胜率的理论可达性。</p>
<h3 id="storm-1">STORM<a href="#storm-1" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>这是一个8×8的网格环境，智能体只有四个动作：前进、左转、右转、交互。观测范围有限，碰撞时静止优先，如果都在运动则随机判定。智能体要去收集地图上的合作币和背叛币，收集到后颜色会转变，表示可以交互了。交互时向前方发射一道交互光束（挺有趣的设定），如果碰到一个也准备好的智能体就会发生交互，根据博弈矩阵给出奖励收益。交互完成后，两个智能体在五步内会陷入冻结状态，向周围的智能体公布它获取的硬币，解除冻结后在新位置重生，硬币归零，重新开始获取硬币。每个episode结束后，硬币的位置会随机改变。作者强调了STORM和melting pot的区别，不过这里就不介绍了，后面研究完melting pot再做介绍。他还特别强调了这个硬币随机改变机制的重要性。</p>
<h3 id="硬币博弈">硬币博弈<a href="#%e7%a1%ac%e5%b8%81%e5%8d%9a%e5%bc%88" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>这是一个双智能体的网格环境游戏，模拟了迭代囚徒困境等社会困境。地图是环形的，上下联通，左右联通，就像贪吃蛇的地图。红蓝两个智能体在其中移动，地图上有红蓝两种硬币，任何智能体捡到硬币就加一分，不过红色智能体收集到蓝色硬币会给蓝色智能体减2分，反之亦然。一个硬币被消耗后，同样的硬币会在地图随机位置刷新。如果两个智能体同时吃一个硬币，它们都可以吃到这个硬币。每个训练回合的step是固定的。博弈点在于，如果两个智能体都选择看到硬币就吃，那么总奖励期望是0。</p>
<h3 id="hanabi">Hanabi<a href="#hanabi" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>花火，完全合作式、部分可观测的多玩家卡牌游戏。玩家可以观察其他玩家的手牌却看不到自己的牌。玩家团队必须通过有限的线索交流，按特定顺序打出卡牌才能获胜。是零样本协作与临时团队研究领域的常用基准。作者的实现支持自定义游戏配置（如花色/等级数量、玩家数量、提示令牌数量），比经典实现更加灵活和可读。</p>
<h3 id="overcooked">Overcooked<a href="#overcooked" class="anchor" aria-hidden="true"><svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24" fill="none" stroke="currentColor" stroke-width="2"
      stroke-linecap="round" stroke-linejoin="round" class="feather">
      <path d="M15 7h3a5 5 0 0 1 5 5 5 5 0 0 1-5 5h-3m-6 0H6a5 5 0 0 1-5-5 5 5 0 0 1 5-5h3"></path>
      <line x1="8" y1="12" x2="16" y2="12"></line>
   </svg></a></h3>
<p>分手厨房，用来评估完全合作式、完全可观察的人机协作任务性能，看人玩玩就知道了。</p>
]]></content></item></channel></rss>