RAD2阅读
RAD2阅读
RAD (Reinforcement Learning for Autonomous Driving) 系列工作聚焦于自动驾驶中的运动规划,目标是解决强化学习在闭环驾驶中的两大痛点:一是因果混淆,即模型无法确定哪些动作导致了好的结果;二是开环差距,即训练是开环的,不考虑动作执行后的环境反馈,而实际部署是闭环的,导致分布偏移和累计误差。RAD 选择直接构建大规模的 3DGS 闭环仿真环境,用强化学习训练端到端驾驶策略(实际训练时先用模仿学习预训练,再用 RL 精调)。首个用 3DGS 环境的端对端自动驾驶策略训练算法,吃到了 3DGS 的红利。
而2026年4月,华中科大和地平线机器人合作,推出了RAD-2,主要想法是将扩散模型和强化学习结合,而且做了实际场景验证,可以说是又一重大提升,思路值得学习,本文选择转述原文。
原论文: https://arxiv.org/abs/2604.15308
原项目: https://hgao-cv.github.io/RAD-2
介绍
现有的轨迹规划器,包括基于回归的(神经网络直接输出一条轨迹,这条轨迹往往是可能轨迹的平均值,抹平了多模态行为,安全性较差),基于选择的(预生成多条候选轨迹,然后打分排序选择一个最优的,能力取决于候选集的质量,能力有限)等等,总的来说存在多模态表征能力差的局限,而扩散模型作为生成式模型,基于模仿学习训练的扩散模型能很好的对多模态连续轨迹进行建模。
但是真实数据集包含噪声,分布不均匀,导致扩散模型偶尔输出低质量不稳定的轨迹,安全性较差,并且由于轨迹是高维数据,学习难度也很高。而模仿学习本身无法提供负反馈抑制不切实际的行为,由于 IL 的缺陷,模型学到的是状态与动作之间的相关性,而不是真正的因果关系,导致出现捷径行为。同时,开环训练范式与实际驾驶的闭环特性不匹配。
现有的将RL与IL结合的思路(直接用RL信号优化扩散模型)存在严重信用分配问题,结果不稳定。仿真选择也存在诸多局限,不真实,价格高,长时域多视角表现差等等。
所以为了解决这些问题,作者提出了一种统一架构扩展RL训练规模,将生成器-判别器设计与可扩展的仿真环境结合,生成器-判别器设计可以认为是分割了任务,扩散模型只要输出多样化的轨迹即可,而判别器则只选择最优的,这减轻了优化扩散模型的负担,降低了学习难度,增强了学习效率。
为了在线时能同时优化生成器和判别器,作者提出了同策略生成器优化算法,对于判别器提供的反馈,生成器仅针对纵向分量(车速、油门、刹车等)进行优化,这部分优化难度更低,不会把生成器学崩,而判别器则全优化,这样的设计能在RL训练时生成器与判别器同时学习进一步提高了效率,只要调整生成器生成的轨迹个数即可鼓励判别器进一步寻优,不是固定参数,可以在不同场景选择不同的性能,不需要重训练。
自动驾驶任务是典型的稀疏奖励任务,为了解决稀疏奖励任务中严重的信用分配问题,作者还提出了时间一致性的采样与优化方式,轨迹采集时锁存执行,强制固定周期内复用选定的轨迹,确保行为的连贯性,然后候选轨迹就可以在持久的行为背景下评估,有效去噪。
方法
生成器-判别器架构
作者将轨迹规划解耦为两个组件:一个基于扩散模型的生成器,负责生成多样化的候选轨迹集合;以及一个判别器,负责对候选轨迹进行评估和重排序。二者共同定义了一个结构化的策略,使得生成与评估能够联合优化。
基于扩散模型的生成器
生成器建模未来轨迹的多模态分布,根据当前观测 \(o_t\) 生成一组候选轨迹,形式化表示为 \(G_\theta(\tau | o_t)\)。
场景编码: 观测 \(o_t\) 首先被编码为BEV特征 \(T_b\),以捕获场景的空间布局。从该表征中提取静态场景元素(如车道几何、道路边界及其他地图结构)和动态智能体(如周围车辆和行人及其运动状态),实现对环境的全面感知。令 \(X_{\text{map}}\)、\(X_{\text{agent}}\) 和 \(X_{\text{nav}}\) 分别表示预测的静态地图元素、动态智能体以及给定的导航输入(如航路点或参考路径)。随后通过轻量级编码器获得token嵌入:
$$ T_m = E_m(X_{\text{map}}), \quad T_a = E_a(X_{\text{agent}}), \quad T_n = E_n(X_{\text{nav}}). $$这些嵌入通过可学习模块 \(F(\cdot)\) 与 \(T_b\) 融合,得到统一的场景嵌入:
$$ E_{\text{scene}} = F(T_b, T_m, T_a, T_n), $$该场景嵌入通过交叉注意力机制为基于DiT的轨迹生成器提供条件输入。
轨迹生成。 对于 \(M\) 个独立的模式,初始噪声轨迹 \(\tau^{(0,m)} \sim \mathcal{N}(0, I)\) 经过 \(K\) 步迭代去噪:
$$ \tau^{(k,m)} = G\!\left(\tau^{(k-1,m)}, E_{\text{scene}}, k\right), \quad k = 1, \ldots, K, $$其中 \(G\) 表示条件去噪网络,根据当前噪声样本 \(\tau^{(k-1,m)}\)、场景嵌入 \(E_{\text{scene}}\) 以及当前步数 \(k\) 进行去噪,逐步将噪声轨迹推向更清晰的轨迹分布。最终的候选轨迹集合为:
$$ \mathcal{T}_b = \left\{\hat{\tau}^m_{t:t+H}\right\}_{m=1}^{M}, \quad \hat{\tau}^m_{t:t+H} = \tau^{(K,m)} \sim G_\theta(\tau | o_t), $$其中 \(\hat{\tau}^m_{t:t+H}\) 是规划时域 \(H\) 内的连续 \((x, y)\) 轨迹。这些轨迹构成了策略的候选集,并传递给判别器进行评估与选择。
基于RL的判别器
判别器依据当前场景对候选轨迹的预期效果进行评估,在候选集中产生偏好排序。
轨迹编码: 轨迹中的每个点通过共享MLP进行嵌入,得到嵌入序列 \(\{e_i\}_{i=1}^{H}\)。在该序列前拼接一个可学习的 [CLS] token,然后送入 Transformer 编码器。[CLS] 的输出聚合了整条轨迹的信息,作为轨迹级查询 \(Q_\tau\)。
场景条件化: 判别器使用与生成器相同的输入 \(X_{\text{map}}\) 和 \(X_{\text{agent}}\) 构建场景表征,判别器只需关注安全性,因此未引入导航点。其静态和动态编码器 \(E_m^*\) 和 \(E_a^*\) 与生成器对应的编码器 \(E_m\) 和 \(E_a\) 共享相同架构,但维护独立的参数:
$$ T_m^* = E_m^*(X_{\text{map}}), \quad T_a^* = E_a^*(X_{\text{agent}}). $$轨迹-场景交互。 轨迹查询 \(Q_\tau\) 通过交叉注意力 \(\Psi(Q, KV)\) 聚合多源场景上下文:
$$ O_m = \Psi(Q_\tau, T_m^*), \quad O_b = \Psi(Q_\tau, T_b), \quad O_a = \Psi(Q_\tau, T_a^*), $$$$ T_{a \cap m} = \Psi(T_a^*, T_m^*), \quad O_{a \cap m} = \Psi(Q_\tau, T_{a \cap m}). $$上述嵌入经拼接后过MLP,得到融合表征:
$$ E_{\text{fusion}} = \Phi([O_m; O_b; O_a; O_{a \cap m}]), $$其中 \(\Phi(\cdot)\) 表示拼接后接一个MLP,\(O_m\) 表示生成轨迹与预测静态地图嵌入交互,\(O_b\) 表示生成轨迹与实际观测嵌入交互,\(O_a\) 表示与预测动态智能体嵌入交互,\(T_{a \cap m}\) 表示预测静态地图与动态智能体之间的交互,刻画二者间的潜在关系并表征可能的未来冲突,\(O_{a \cap m}\) 表示生成轨迹与 \( T_{a \cap m} \) 的交互。各分支嵌入最终融合为统一的轨迹-场景交互表征。
轨迹打分与重排序。 对于每个候选轨迹 \(\hat{\tau}_{t:t+H} \in \mathcal{T}_b\),判别器通过sigmoid激活函数 \(\sigma\) 作用于融合表征,产生一个标量分数:
$$ s(\hat{\tau}_{t:t+H}) = \sigma(E_{\text{fusion}}) \in [0, 1]. $$理论上可对候选集上的分数做归一化,得到轨迹上的概率分布以供重排序;实际实现中直接以sigmoid输出作为优先级排序依据。
闭环仿真环境与控制器
所提出的策略在高效的BEV-Warp环境中进行评估——通过对BEV特征进行变换实现高通量交互。此外,在基于3D高斯泼溅(3DGS)构建的环境中也进行了验证,以检验策略在不同场景表征下的泛化能力。
BEV-Warp环境。 BEV-Warp通过直接在时间维度上操控BEV特征来构建仿真环境,绕过了冗余的图像级渲染。仿真从记录的真实世界序列初始化,包括多视角观测、自车轨迹和场景上下文。
对于每个仿真步 \(t\),系统提取BEV特征 \(B_t^{\text{ref}}\) 并加载记录的位姿 \(P_t \in SE(2)\) 作为状态。规划器生成候选轨迹 \(\mathcal{T}_b\),从中选择最优轨迹 \(\hat{\tau}^*\) 并进行跟踪,以更新智能体的仿真位姿 \(P_{t+1}\)。
如图3所示,为了将记录的环境与仿真自车状态重新对齐,我们推导出一个变换矩阵 \(M_{t+1} = (P_{t+1})^{-1} P_{t+1}^{\text{ref}} \in \mathbb{R}^{3 \times 3}\)。假设高度恒定且忽略旋转(即俯仰和翻滚),下一时间步的合成特征通过以下方式获得:
$$ B_{t+1} = \mathcal{W}(B_{t+1}^{\text{ref}}, M_{t+1}), $$其中 \(\mathcal{W}(\cdot)\) 通过双线性插值实现。该合成表征与 \(P_{t+1}\) 一起,为闭环评估提供了连续的交互。具体地,闭环仿真在每个时刻 \(t\) 按如下流程驱动:首先,系统根据当前自车位姿 \(P_t\) 获取环境表征 \(B_t\);随后规划器基于该表征生成候选轨迹集合 \(\mathcal{T}_b\);判别器从中选出最优轨迹 \(\hat{\tau}^*\);控制器跟踪该轨迹,产生油门、转向等控制指令,并将自车位姿更新至 \(P_{t+1}\);最后,系统以 \(P_{t+1}\) 重新生成对应视角下的环境表征,进入下一时刻。整个过程以固定的频率循环迭代,构成闭环。
3DGS环境。 为了确保不同场景表征下性能的一致性,策略还在通过3D高斯泼溅构建的逼真仿真世界中进行进一步验证。与特征级变换不同,这种方法根据智能体当前位姿 \(P_t\) 从场景 \(\mathcal{G}\) 直接渲染原始多视角观测 \(o_t\):\(o_t = \mathcal{R}(\mathcal{G}, P_t)\),其中 \(\mathcal{R}(\cdot)\) 是可微分渲染算子。这构成了一组显式图像级渲染下的测试,用以验证策略的鲁棒性。
基于轨迹的控制器。 两个环境均采用基于iLQR的控制器来跟踪规划轨迹 \(\hat{\tau}^*\)。给定非线性车辆动力学,\(x_{k+1} = f(x_k, u_k)\)(如运动学自行车模型),控制器在时域 \(H\) 上最小化二次代价函数:
$$ u_{t:t+H}^* = \arg\min \sum_{k=t}^{t+H} \|x_k - \hat{x}_k^{\text{ref}}\|_Q^2 + \|u_k\|_R^2, $$其中 \(\hat{x}_k^{\text{ref}}\) 是由 \(\hat{\tau}^*\) 导出的参考状态。iLQR算法通过对 \(f(\cdot)\) 的局部线性化和代价的二次近似来迭代优化控制序列。其中,第一个最优控制指令 \(u_t^*\) 被施加以更新车辆状态,产生新的自车位姿 \(P_{t+1}\) 用于后续仿真步。
联合策略优化
为了在BEV-Warp环境中优化策略,我们提出了一种联合优化框架,通过结构化迭代流程将扩散生成器 \(G_\theta\) 与RL训练的判别器 \(D_\phi\) 协同起来。全局目标是最小化混合策略(生成器-判别器策略网络) \(\Pi_{\theta,\phi}\) 与理想的、风险中性且高效率的分布 \(\Pi^*\) 之间的KL散度:
$$ \min_{\theta,\phi} D_{\text{KL}}\left(\Pi_{\theta,\phi}(\tau | o) \| \Pi^*(\tau | o)\right). $$该目标通过三阶段迭代过程实现:(i)时间一致性的轨迹采集(Sec. 3.3.1),收集稳定的闭环交互数据以锚定探索行为;(ii)判别器优化(Sec. 3.3.2),通过轨迹级RL优化 \(\phi\),使其习得稀疏奖励规律并提供精确的排序反馈;(iii)生成器优化(Sec. 3.3.3),采用同策略生成器优化(On-policy Generator Optimization)将 \(G_\theta\) 的输出密度向高奖励区域集中——即让生成器更多地产生回报高的轨迹。
时间一致性的轨迹采集
规划器在每个时间步可生成多模态轨迹假设,但如果以高频率在不同模式之间频繁切换,将破坏运动意图的连续性,割裂策略决策与长期驾驶结果之间的关联,导致信用分配低效和策略更新不稳定。
为缓解这一问题,作者引入了轨迹复用机制以维持短期行为一致性。一旦在时刻 \(t\) 选定最优轨迹 \(\hat{\tau}_t^*\),便按照式(10)的iLQR优化将其转化为控制序列 \(u_{t:t+H}^*\)。策略不在下一步立即重新规划,而是在固定的执行时域 \(H_{\text{reuse}} < H\) 内依次复用这些预计算的控制指令 \(u_{t+h}^*\),使车辆状态沿所承诺的轨迹一致演化。\(H_{\text{reuse}}\) 作为固定超参数控制复用长度,同时该机制原生支持在安全约束被违反时异步终止,不影响智能体对动态环境的应急响应能力。通过稳定探索方向,该机制使累积奖励更准确地反映所选轨迹 \(\hat{\tau}_t^*\) 的质量,从而提升策略梯度的有效性。
通过RL优化判别器
为了引导判别器捕获长时域驾驶语义,我们建立了多目标奖励函数评估闭环结果,并通过时间一致性的分组相对策略优化(TC-GRPO)框架来优化策略。
奖励建模。 强化学习环境建立在一系列长时长片段之上。在每个片段内,策略 \(\Pi_{\theta,\phi}\) 以闭环方式与环境交互,生成多条轨迹采集结果(rollout)。每条rollout代表一个完整的决策链,我们定义两个互补的奖励来刻画安全性和效率:
(i)安全性奖励(\(r_{\text{coll}}\)):我们通过反事实插值来量化碰撞风险。具体地,在每个仿真步 \(t\),碰撞时间(Time-To-Collision)\(T_t\) 定义为自车投影占据区域与环境真值状态发生交集的最早时刻:
$$ T_t = \inf\{k \in [0, T_{\max}] \mid B_{\text{ego}}(k; t) \cap V_{\text{env}}(t+k) \neq \emptyset\}, $$其中 \(T_{\max}\) 是安全检测阈值,\(B_{\text{ego}}(k; t)\) 表示从步 \(t\) 向前投影 \(k\) 步后自车的占据区域,\(V_{\text{env}}(t+k)\) 表示绝对时间 \(t+k\) 时环境的集体真值占据。如果未检测到交集,\(T_t\) 默认为 \(T_{\max}\)。直白说是从现在开始,最早多少步之后会发生碰撞。序列级奖励则定义为最差时间裕度:
$$ r_{\text{coll}} = \min_{1 \leq t \leq L} (T_t - T_{\max}), $$其中 \(L\) 是rollout时域。这种瓶颈式设计确保rollout内任何时刻的安全违规都决定序列级奖励,从而倾向于保守的驾驶策略。
(ii)导航效率奖励(\(r_{\text{eff}}\)):为了同步行驶节奏与专家示范,我们在每条rollout结束时评估序列级自车进度(Ego Progress, EP),记为 \(\rho\)。奖励 \(r_{\text{eff}}\) 被设计为一个稳定性窗口惩罚,将车辆进度锚定在目标效率区间 \([\rho_{\text{low}}, \rho_{\text{high}}]\) 内:
$$ r_{\text{eff}} = \min(\rho - \rho_{\text{low}}, 0) + \min(\rho_{\text{high}} - \rho, 0) + 1, $$其中 \(\rho_{\text{low}} = 1.05\) 和 \(\rho_{\text{high}} = 1.10\) 定义了相对于裁剪后专家轨迹的归一化进度边界。该设计将导航效率视为有界同步任务,同时惩罚迟缓的低效表现和过于激进的偏离,以强制执行类人的行驶节奏。
二者共同平衡了闭环驾驶中的安全性和驾驶效率。
优化目标。 为了解决连续驾驶空间中的信用分配问题,我们提出了时间一致性的分组相对策略优化(TC-GRPO)。该框架针对运动规划的时间依赖性设计了结构化的轨迹采集和奖励分配机制——采样的轨迹假设在短时域内持续执行以确保行为一致性。通过将稀疏环境奖励直接归属于在每个持续执行区间内所维持的特定轨迹假设,该方法防止了强化信号被不同运动意图之间的高频切换所稀释。这种时间对齐有效地去噪了策略梯度,并稳定了生成器-判别器系统的迭代优化。
对于具有序列级奖励 \(r_i\) 的rollout \(\mathcal{O}_i\),标准化优势 \(A_i\) 相对于从同一初始状态生成的组 \(\{\mathcal{O}_i\}_{i=1}^{G}\) 计算:
$$ A_i = \frac{r_i - \text{mean}(\{r_1, \ldots, r_G\})}{\text{std}(\{r_1, \ldots, r_G\})}. $$令 \(K_i\) 为rollout \(\mathcal{O}_i\) 中采样新轨迹 \(\hat{\tau}_{i,t}^*\) 以开始锁存执行区间的时间步集合。这些稀疏决策点上的裁剪目标定义为:
$$ \mathcal{L}_{i,t \in K_i} = \min\left(\rho_{i,t} A_i, \text{clip}(\rho_{i,t}, 1-\varepsilon, 1+\varepsilon) A_i\right), $$其中 \(\rho_{i,t} = \frac{D_\phi(\hat{\tau}_{i,t}^* | o_{i,t})}{D_{\phi_{\text{old}}}(\hat{\tau}_{i,t}^* | o_{i,t})}\) 是重要性采样比率。该设计确保优势信号强化的是连贯的轨迹假设,而非缺乏时间一致性的独立动作样本。
为防止过早收敛和sigmoid饱和,引入了基于温度控制的自适应熵正则化机制。具体而言,令 \(H_{i,t}\) 表示第 \(i\) 条rollout在时间步 \(t\) 的策略熵,\(\bar{H}\) 表示其批次平均值。自适应正则化权重基于平均熵计算:
$$ \beta = \exp(\lambda) \cdot \mathbb{1}[\bar{H} < \bar{H}_{\text{target}}], $$其中 \(\lambda\) 是可学习的温度参数,\(\bar{H}_{\text{target}}\) 表示目标熵水平。该设计仅在平均熵低于目标时激活熵正则化。温度参数 \(\lambda\) 仅在此类不足条件下通过梯度下降自适应调整。
判别器的RL目标定义为:
$$ \mathcal{J}_{\text{RL}}(\phi) = \mathbb{E}\left[\frac{1}{\sum_{i=1}^{G} |K_i|} \sum_{i=1}^{G} \sum_{t=1}^{|K_i|} \mathcal{L}_{i,t} + \beta H_{i,t}\right]. $$通过将自适应熵正则化与 \(\mathcal{L}_{i,t}\) 相结合,判别器确保了在不损害策略稳定性的情况下进行稳定探索。
和GRPO区别不大只是更新仅在下次决策开始前学习一次。
同策略生成器优化
混合策略 \(\Pi_{\theta,\phi}\) 由生成器 \(G_\theta\) 和判别器 \(D_\phi\) 的组合定义。虽然第3.3.2节优化了 \(D_\phi\) 以进行候选选择,但 \(G_\theta\) 的模式覆盖范围限制了可探索的策略空间。为了扩展这一边界,我们通过同策略生成器优化来优化 \(G_\theta\),将闭环反馈转化为结构化的纵向优化信号,把生成器的概率质量重新定位到具有有利长期结果的区域。
奖励引导的纵向优化。 在每个闭环时间步 \(t\),获得原始的前瞻轨迹片段 \(\tau_t^{\text{raw}} = \{(x_{t+h}, y_{t+h}, v_{t+h}, a_{t+h})\}_{h=0}^{H}\),覆盖时域 \(H\)。基于闭环反馈,识别潜在的碰撞风险或不足的进度,并相应地优化纵向分量。该过程通过向原始值施加常量偏移(带符号感知处理)并重新积分来调整加速度曲线,产生优化轨迹 \(\tau_t^{\text{opt}}\),在保持 \(\tau_t^{\text{raw}}\) 空间路径的同时优化其时间推进,以更好地对齐奖励信号。
(i)安全性驱动的减速: 当前时间步的碰撞时间 \(T_t\) 低于阈值 \(\gamma_{\text{safe}}\) 时,将时域 \(H\) 内的行驶距离按固定比例 \(\rho \in (0, 1)\) 缩减以施加时间压缩。
(ii)效率驱动的加速: 自车落后于参考轨迹(表明进度不足)且瞬时碰撞时间 \(T_t\) 超过安全阈值(即无碰撞风险)时,将时域 \(H\) 内的行驶距离按固定比例 \(\rho' > 1\) 增加以施加时间扩展。
通过将闭环奖励信号转化为结构化优化,该机制使生成器能迭代地将其输出分布转向更安全、更高效的行为。
同策略分布迁移。 优化后的轨迹片段 \(\tau_t^{\text{opt}}\) 被聚合为同策略数据集 \(\mathcal{D}^{\text{opt}} = \{\tau_t^{\text{opt}}\}\),通过在预测时域 \(H\) 上的均方误差损失为微调生成器 \(G_\theta\) 提供结构化监督:
$$ \mathcal{L}_{\text{op}}(\theta) = \mathbb{E}_{\tau^{\text{opt}} \sim \mathcal{D}^{\text{opt}}} \left[\sum_{k=0}^{H} \|\hat{\tau}_{t+k} - \tau_{t+k}^{\text{opt}}\|_2^2\right]. $$这种分布迁移本质上是渐进且稳定的,因为 \(\mathcal{D}^{\text{opt}}\) 中的目标轨迹是通过同策略交互和维度特定优化构建的。
直说就是,碰撞时间小于阈值时缩短轨迹距离长度(每个轨迹周期总是固定的)以减速避免碰撞;碰撞时间安全时,自车落后于参考轨迹时拉长轨迹距离长度以加速。使用修改后的轨迹作为监督信号训练生成器,所以是纵向的,只加减速,且使用了判别器学习时算出的碰撞时间和参考轨迹等信息。
后续
实验不看,除了原理性思路剩下的就是扒代码了。 https://hgao-cv.github.io/RAD-2