📁 Sunhao's Log
← 返回笔记列表 / 微分动态规划
微分动态规划 ✍️ Second Brain ★ 读者评价

李群上的离散时间微分动态规划 (Boutselis 2018 DDP):无坐标推导、BCH 二阶张量展开与 DtL 范式

Differential Dynamic Programming on Lie Groups: Derivation, Convergence Analysis and Numerical Results

#differential-dynamic-programming #lie-groups #discrete-then-linearize #bch-formula #trajectory-optimization #geometric-control #so3-se3 #publication-study
🧭 论文导读与核心速览 · 本地已收录复现工程

本文是李群几何最优控制领域的奠基性经典文献 (George I. Boutselis & Evangelos Theodorou, 2018)。它首次在不依赖欧氏全局坐标与万向节死锁的前提下,将 Mayne & Jacobson 经典微分动态规划(DDP)严格推广到一般可微流形上。
核心特征:坚持采用先离散后线性化 (Discrete-then-Linearize, DtL) 范式,借助 Baker-Campbell-Hausdorff (BCH) 级数建立了离散机械系统状态扰动的精确二阶代数展开。在本地工程库 differential-dynamic-programming/Boutselis_2018_DDP_Lie_Groups/ 中已收录完整的 SO(3)、SE(3) 与相对航天器姿轨 (Relative SE(3)) 真实测试与自动微分验证代码。

🟢 保结构 DtL 范式 🟣 BCH 二阶张量展开 🔵 Cartan (0) 对称联络 🟠 混合 iLQR/DDP 切换 🔬 DtL 范式本质 ↘ ⚡ BCH 张量展开 ↘ ⚙️ Lie-Euler 局限 ↘ 🚧 无约束软肋与突破 ↘ 🏛️ 三巨头架构横评 ↘ 🐞 代价度量 2 倍捉虫 ↘
💡 精读提问 1 · DtL 范式的胜利:为什么 Boutselis 坚持“先离散后线性化”?
📍 跳转至 8.1 节系统考据 ↘
💬 读者提问:
“Boutselis 2018 采用的是先离散化后线性化(DtL),而 Alcan 2023 采用的是先泰勒展开线性化后离散化(LtD)。两者的数学收敛阶次究竟相差在哪里?为什么说 DtL 才是真实保梯度的严格路线?”

核心答案:
• LtD 的交换子缺陷:先对连续系统求李代数变分再做欧拉离散,相当于用零阶保持器近似随状态连续变化的雅可比矩阵,必然引入阶次为 的李括号交换子误差;
• DtL 的无偏梯度:Boutselis 直接针对计算机执行的离散非线性状态转移算子求导,反向传播计算出的 Q-函数梯度与真实离散代价函数之间梯度残差完全为零(达机算浮点极限)!这保证了线搜索能以满步长接受,实现真正的超线性收敛。

⚡ 精读提问 2 · BCH 二阶张量展开:为什么会出现 dexp 逆与多层李括号?
📍 跳转至 8.2 节系统考据 ↘
💬 读者提问:
“式 (23) 到 (27) 中推导构型扰动时,为什么不能像欧氏空间那样直接写状态矩阵和二阶 Hessian?中间那一长串复杂的指数微分逆和多层李括号到底从何而来?”

核心答案:
• 李群非交换乘法的本质挑战:连续状态演化是由三个指数矩阵相乘决定的。由于矩阵乘法不可交换,必须连续使用两次 Baker-Campbell-Hausdorff (BCH) 公式;
• 曲率修正张量:BCH 级数展开产生了由伯努利数加权的多层李括号,这些项直接刻画了流形内在曲率对动力学一阶灵敏度的几何调制,是流形 DDP 与欧氏 DDP 的分水岭。

⚙️ 精读提问 3 · 离散积分器的工程妥协:为什么全篇只用一阶显式 Lie-Euler?
📍 跳转至 8.3 节系统考据 ↘
💬 读者提问:
“在航天器姿轨仿真中,一阶欧拉积分会导致能量漂移。为什么 Boutselis 原文仅采用一阶 Lie-Euler,而不采用四阶 RKMK 或辛变分积分器 (LGVI)?”

核心答案:
• 手工解析二阶导数的复杂度爆炸:即便是最简单的一阶 Lie-Euler,其 BCH 二阶展开式 (27) 就已经极为庞大;如果换成四阶 RKMK 或隐式 LGVI,手工推导二阶张量几乎不可行;
• 现代自动微分破局:在当今我们的 AstroMPC / OCJax 框架中,高阶辛变分积分器可以直接通过 JAX 的前向/反向模式自动微分提取精确 Hessian,一举破解了这一历史妥协!

🚧 精读提问 4 · 致命短板:为什么 Boutselis 只能做无约束优化?如何拓展?
📍 跳转至 8.4 节系统考据 ↘
💬 读者提问:
“Boutselis 2018 在控制理论上推导得极其优美,但在真实工程中面临的最大瓶颈是什么?如何克服?”

核心答案:
• 零约束处理能力:式 (16) 的解析最优解完全依赖无约束二次求导。一旦引入推力器幅值限幅、视场角禁飞区或障碍物走廊,解析解彻底失效;
• 现代演进路线:必须在外环引入增广拉格朗日乘子(如 Howell 2019 ALTRO / Alcan 2023),或者在内环求解带盒式约束的阶段二次规划(Box-QP,Tassa 2014)。

🏛️ 精读提问 5 · 三巨头横评:Boutselis (2018) vs Alcan (2023) vs Howell (2019)
📍 跳转至 8.5 节系统考据 ↘
💬 读者提问:
“这三篇核心论文在几何最优控制发展史上的坐标位置是什么?各自的长短板是什么?”

核心答案:
• Boutselis 2018:严谨性巅峰。保结构 DtL,BCH 完整二阶展开,但无约束处理能力;
• Alcan 2023:工程妥协派。引入增广拉格朗日处理非线性硬约束,但采用连续线性化 (LtD),二阶项退化为 iLQR;
• Howell 2019 (ALTRO):速度与鲁棒性巅峰。AL-iLQR + 平方根 QR 分解 + 终极牛顿投影解精修,为机器人工业标杆;
• Chu 2026 (本论文):融汇集大成者。吸纳 Boutselis 的 DtL 保结构步进 + ALTRO 的 AL 投影精修 + 空间航天器半直积解耦物理约束!

🐞 精读提问 6 · 经典文献捉虫:式 (40) 终端梯度与 Frobenius 黎曼度量相差 2 倍
📍 跳转至 8.6 节系统考据 ↘
💬 读者提问:
“在本地工程验证中,为什么式 (40) 算出的梯度和通过 Frobenius 子流形投影法算出的黎曼梯度差了恰好 2 倍?”

核心答案:
• 度量定义的隐性冲突:在微分几何中,标准 Frobenius 内积下李代数基的范数为 2;而许多控制学者为了消去系数,采用缩放度量;
• 原文作者在引言第二节声明使用自然配对,但在第四节推导时,在配对内积与反对称矩阵展开之间遗漏了因子 1/2。我们在本地复现中通过严密单元测试确认了该处度量因子的影响!

I. 引言

真实物理系统往往具有复杂的构型空间。例如,刚体变换的集合构成可微流形 [1]。与向量空间不同,非平坦流形不能简单地用全局线性坐标处理。几何力学借助微分几何和李群理论研究这类系统的运动 [2];其离散力学分支则研究离散时间或离散空间中的几何积分与变分方法 [3–5]。

过去几十年中,现代控制理论被不断推广到光滑流形上的系统,相关成果涵盖稳定性、可控性与反馈控制设计 [6]。几何最优控制尤其关注如何用微分几何语言解释和求解动态规划、Pontryagin 极大值原理等传统框架 [7]。

机械系统的几何控制算法已有多种形式:文献 [8] 基于 Pontryagin 原理提出数值方法;文献 [9] 对变分积分器离散化后的系统使用通用直接优化求解器;文献 [10] 针对矩阵李群修改了逐阶段 Newton 等轨迹优化方法。文献 [11] 将投影算子框架推广到李群上的连续时间轨迹优化,并强调协变微分的重要性。文献 [12, 13] 则利用必要最优性条件控制若干特定机械系统,例如 上的平面摆和 上的单刚体,但这类方法较依赖具体问题结构。

DDP 由 Mayne 和 Jacobson 提出,可求解离散与连续最优控制问题 [14],后来被用于许多高维复杂工程系统 [15–19]。它的重要特点包括良好的可扩展性、较快的局部收敛速度以及自然产生反馈控制律。几何控制文献 [10] 首次简要涉及 DDP,文献 [20] 又将其用于估计,但这些工作只针对特定矩阵李群给出最终公式,且主要从传统向量空间 DDP 进行类比,尚缺少严谨的流形化推导。

本文构造李群版本的 DDP,并系统讨论算法推导、收敛性与数值行为。主要贡献为:

  1. 沿用经典 DDP 的逻辑,但将动力学、代价函数及其微分全部改写成李群上的无坐标形式,从而推广 [10,14,20]。
  2. 为一类一般离散机械系统给出状态扰动的一阶与二阶展开;二阶项有助于在解附近获得更高收敛速度。
  3. 给出收敛分析,表明当类似 Hessian 的控制二阶算子在整个优化过程中保持正定时,算法可收敛到局部(次)最优解。
  4. 在 上进行仿真,说明如何把无坐标公式转换为矩阵/向量计算,并与标准轨迹优化方法比较。

全文安排如下:第二节给出李群与微分几何预备知识;第三节推导李群 DDP;第四节推导离散机械系统的二阶扰动模型;第五节分析收敛性;第六节给出刚体姿态控制仿真;第七节总结。

II. 预备知识与记号

令 为系统构型空间对应的李群, 为单位元。 和 分别表示左、右平移。 与 分别是切丛和余切丛, 为李代数, 为其对偶。左平移和右平移的切映射分别记作 与 。为简洁起见,有时直接写 、 和 ,分别表示 、 和 。若 是 上光滑向量场集合,则李括号定义为 。

自然配对与对偶映射。 对向量空间 及其对偶 ,自然配对定义为 。若线性映射 ,则其对偶 由 定义。当 且 时,称 为对称映射;这里采用 与双对偶 的标准同一化。

仿射联络。 对向量场 , 表示联络 下沿 的协变导数。若 ,则联络左不变。扭率张量为 ;若恒为零,则联络对称。任一左不变联络均对应双线性联络函数 ,满足 。本文使用三种 Cartan-Schouten 联络:、 与 。其中 联络是对称的。

微分与 Hessian。 对光滑函数 ,其微分 。Hessian 是由所选联络定义的 张量,满足 。当联络对称时,Hessian 也对称。对于向量值映射,微分和 Hessian 逐分量定义。

伴随表示。 群的伴随表示 由共轭映射的微分给出;矩阵李群上有 。李代数伴随算子 。

指数映射。 是单位元邻域上的局部微分同胚;其右平凡化切映射写作 ,满足 。 是局部逆映射。必要时用下标指明所属群。

指数函子。 对线性映射 及任意向量空间 ,定义 为 。该记号用于把线性泛函作用到双线性扰动算子上。

离散时刻 的状态与控制分别记为 、。状态序列写作 ,控制序列写作 ;二者合称轨迹 。

III. 李群上的微分动态规划推导

DDP 在每次迭代中计算局部最优控制增量,并据此更新名义轨迹。为此需要在李群上对代价函数和值函数进行二阶展开,同时建立状态扰动传播模型。

A. 问题定义

考虑如下离散时间有限时域最优控制问题:

其中总成本为

时间区间采用固定步长 离散,共有 个时刻。 是状态转移映射, 是阶段成本, 是终端成本。假设问题存在解,并且 与所有 二次可微。一般问题难以解析求得全局最优解,因此本文目标是得到计算可行的局部解。

B. 扰动状态轨迹的线性化

给定名义控制 和对应名义状态 。控制扰动为 。当扰动足够小时,扰动状态可用指数坐标写成 ,其中 。

DDP 需要 的递推展开。第四节将为离散机械系统推导具体公式;此处先假定存在如下二阶模型:

其中 与 是一阶状态和控制扰动算子, 是二阶双线性算子;这些量均在名义轨迹上计算,并满足相应的对称/对偶关系。

C. 函数的展开

定义时刻 的离散值函数为

由 Bellman 原理,

为了在流形上展开 ,沿曲线 对标量参数 作 Taylor 展开:

令 后得到

采用 Cartan 联络并把微分左平凡化,可写为

其中左平凡化的一阶和二阶值函数导数定义为

同理,阶段成本在名义状态与控制附近展开为

相应的平凡化导数记为

下一时刻值函数的局部展开为

将扰动动力学 (3) 代入并保留二阶项,得到

为简化记号,定义离散 函数

于是扰动 函数可写成标准二次型

各系数由下式给出:

这些公式同时包含代价本身的二阶曲率以及动力学二阶扰动对值函数梯度的贡献。指数函子记号用于省略双线性算子的重复参数。

D. 计算局部(次)最优控制扰动

由 函数定义,Bellman 方程等价为

因为 且名义控制固定,优化变量是 。对二次近似显式求极值,得到

该式使用 联络 Hessian 的对称性,因此 与 对称,且 。为在二次模型不够精确时仍能产生下降方向,引入线搜索参数 ,实际更新采用

第一项是开环前馈修正,第二项是相对于当前状态扰动的反馈修正。

E. 与 的反向传播

计算控制更新需要名义轨迹上的值函数梯度与 Hessian。把值函数与 函数的二次展开以及局部最优控制代入 Bellman 方程,可得

由于该等式对任意 成立,比较一阶与二阶系数即可得到反向递推:

终端条件为

所有右端量均在名义轨迹上计算,因此可以从 向 递推。

算法 1:李群上的 DDP

输入: 问题 (1) 的动力学和代价函数、名义控制序列 、固定初始状态 。

  1. 用 正向展开名义状态并由 (2) 计算名义成本 。
  2. 重复以下过程直到收敛:
    1. 由 (19) 计算终端 。
    2. 对 反向计算:
      • 构造 (3) 的 ;
      • 由 (14) 计算 的平凡化导数;
      • 由 (18) 更新 。
    3. 令线搜索参数 。
    4. 反复正向试算:令 ,按 (17) 计算控制增量,传播真实非线性动力学,并由 得到新扰动;若成本未下降,则令 ,。
    5. 接受下降的状态、控制和成本作为新的名义序列。

图 1: 李群 DDP 的流程。由名义控制生成流形上的名义轨迹;沿轨迹反向传播值函数导数;在李代数中计算控制与状态扰动;用更新后的轨迹重复计算直至收敛。

IV. 离散机械系统的二阶展开

本节为机械系统建立式 (3) 的具体展开。以往工作 [10, 20] 只给出一阶近似且缺少完整证明;本文利用 Baker-Campbell-Hausdorff(BCH)公式推导通用二阶模型,并同时给出只保留一阶项的替代形式。

许多机械系统的状态位于某个李群 的切丛。利用 ,将状态写为 ,其中 是位姿, 是体坐标速度。连续动力学为

采用前向 Euler 离散后,重构方程和速度方程分别为

这里 。以下先处理显式离散,但同样思路也适用于后向或隐式积分器。

令 为状态扰动,对应

因为扰动轨迹同样满足重构方程,逐步代入名义与扰动状态可得

从而

为处理右端三个指数映射的乘积,反复使用 BCH 公式。先把后两个指数合并:

其中 的二阶展开为

整理后得到

于是

对第二次 BCH 合并使用 的局部展开,

最终得到构型扰动 关于 和 的二阶递推:

速度扰动通过对 作协变 Taylor 展开得到。对每个分量,

式 (27) 与 (28) 共同给出显式机械系统所需的二阶扰动传播。

对于隐式离散,考虑

若相应 Jacobian 可逆,可用隐函数定理求得速度扰动关于上一时刻状态与控制的导数。一阶关系为

进一步微分可得二阶关系:

因此显式或隐式机械系统都可以写成式 (3) 的形式。若只保留一阶微分,就得到 Gauss-Newton/iLQR 型近似;保留二阶项则对应完整 DDP。

V. 收敛性分析

本节分析第三节算法的收敛性。欧氏空间 DDP 的相关结果见 [26, 28]。这里考虑一般问题 (1) 和李群状态。

令 为式 (17) 的控制更新, 为整段名义控制向量, 为更新向量。由一阶扰动传播,

为避免重复公式,以下仍以论文编号 (31) 指代上述一阶关系。定义协态样的反向变量

引理 V.1。 若 按 (32) 定义,则总成本对第 个控制的导数满足

引理证明见附录 E。

把所有控制方向组合起来,方向导数为

假设 V.1。 (i) 控制搜索空间 为紧集;(ii) 对所有时刻, 保持正定。

定理 V.1。 对问题 (1),设 是名义控制, 由 (17) 给出,则

因为正定二次型 ,当梯度不为零且 足够小时,上式给出严格下降方向。

证明采用反向归纳。首先在 时,利用 (33)、(32)、(19) 和 (14),有

并且由 (32),

因此基例满足定理关系。假设关系对 成立,利用 、 以及扰动递推,可得

令 且初始状态固定,,即得到定理中的总方向导数表达式。

推论 V.1。 若假设 V.1 成立,则算法 1 收敛到问题 (1) 的一个驻点。证明见附录 F。

在数值实现中,可以通过 Levenberg-Marquardt 型正则化保证正定性:

其中 ,若某一时刻的 非正定就增大 。欧氏空间 DDP 在适当条件下具有局部二次收敛 [28];本文仿真表明,使用第四节的二阶展开时,李群 DDP 也可表现出类似的局部超线性/二次收敛。

VI. 仿真

本文在 上控制刚性卫星。连续姿态动力学为

其中 是旋转矩阵, 是体坐标角速度, 是控制输入, 是惯量矩阵, 的列给出控制力矩作用轴。帽映射把向量映射为反对称矩阵:

其逆映射记作 ,因此状态可视为 。前向 Euler 离散为

定义加权 Frobenius 范数与加权欧氏范数后,最优控制问题写为

阶段成本和终端成本为

该设计惩罚控制能量,并强制终端姿态与角速度接近 。终端成本的一阶导数为

在 Cartan 联络下,其 Hessian 为

利用 与 的基和自然配对,可把所有线性算子写成矩阵。阶段成本导数、终端梯度和终端 Hessian 的矩阵形式为

例如,式 (14) 和 (18) 中的两个核心量化为

对离散卫星动力学直接求导,可得实现所需的 矩阵:

在 上还使用 与 。

仿真参数。

参数数值参数数值

收敛阈值为 。若 非正定,按 增大正则化参数。线搜索缩减因子取 ,初始名义控制为零。

图 2: DDP 得到的局部最优姿态、角速度与控制序列;姿态以单位四元数绘制。

比较只使用一阶模型和使用完整二阶模型可见:一阶模型在优化早期下降更快,但解附近没有超线性收敛;二阶项在早期可能使 非正定,因正则化而下降较慢,但接近解时可产生近似二次收敛。作者建议采用混合策略:先使用一阶模型,当 后切换到二阶模型。仿真中取 ,第一次迭代后完成切换。

图 3: 一阶、二阶及混合展开的成本收敛表现。

与通用优化器比较。 作者用 MATLAB 内置 SQP 直接求解问题 (38),将所有状态矩阵、角速度和控制作为决策变量,并把动力学作为等式约束,约束可行性容差为 。两种方法最终到达相同解,但 DDP 迭代次数更少。MATLAB DDP 实现约用 ,SQP 约慢 300 倍,而且 SQP 到第 9 次迭代才得到满足动力学的可行轨迹。直接法较慢的原因包括:决策维数大、等式约束多,以及计算量随时域长度近似三次增长。

图 4: DDP 与 SQP 的每次迭代成本比较。

VII. 结论

本文把欧氏空间 DDP 推广到状态在李群上演化的系统,给出了无坐标推导、收敛条件与矩阵实现。借助微分几何工具,算法能够直接处理非线性构型空间,并通过离散机械系统的二阶扰动展开保留经典 DDP 的反馈结构和快速局部收敛特性。卫星姿态控制仿真表明,该方法可比通用直接优化方法高效得多。

未来工作包括:建立二阶版本局部二次收敛的严格证明;研究输入/状态约束;采用更高阶或结构保持离散动力学;以及将算法推广到随机系统和部分可观测问题。

附录 A:Cartan 联络的 Hessian 算子

本附录给出 、 和 Cartan-Schouten 联络对应 Hessian 的关系。对标量函数或向量值映射 , 联络下有

利用三种联络函数及扭率定义,可得

因此不同 Cartan 联络下的二阶项只相差由李括号/扭率引起的修正;本文选择 联络是因为其对称性保证 Hessian 对称。

附录 B:Baker-Campbell-Hausdorff 公式

设 足够接近零,使指数映射局部可逆,则

BCH 级数为

本文使用到的低阶截断可写为

以及

右平凡化指数微分及其逆分别为

其中 为 Bernoulli 数。上述公式用于第四节反复合并指数映射,并把群乘法的非交换性转化为李括号修正项。

附录 D:线性化状态扰动的矩阵/向量形式

对构型扰动递推定义

对右端在 处作 Taylor 展开:

零阶项为

关于 的一阶导数为

关于 的一阶导数为

把二阶导数按基 展开,得到

其中关键二阶系数为

于是完整状态扰动可以写成 维向量二次型:

一阶矩阵 的分块形式为

速度更新对状态和控制的微分由链式法则给出:

对应的一阶分块矩阵为

构型部分二阶张量的分量可组织为

速度部分的二阶张量由 的二阶导数组成:

这些矩阵直接用于算法 1 的数值实现。

附录 E:引理 V.1 的证明

把总成本看成整段控制序列的函数,先写其方向导数:

对第 个控制应用链式法则,沿后续状态传播得到

括号内的反向递推正是 ,因此得到 (33),引理得证。

附录 F:推论 V.1 的证明

若算法达到驻点,则所有 。由 (18) 可得

再利用终端条件和反向递推,可以证明 :

于是由 (33),。定理 V.1 保证每次非驻点迭代存在成本下降,而控制集合紧,因此成本序列有下界并收敛;其极限点满足所有控制梯度为零,即算法收敛到驻点。

参考文献 {.unnumbered}

[1] G. S. Chirikjian, Stochastic models, Information Theory, and Lie Groups. Birkh¨auser, 2009.

[2] D. Holm, T. Schmah, and C. Stoica, Geometric Mechanics and Symmetry: From Finite to Infinite Dimensions, January 2009.

[3] E. Hairer, C. Lubich, and G. Wanner, Geometric Numerical Integration. Structure-Preserving Algorithms for Ordinary Differential Equations, 2nd ed. Berlin: Springer, 2006.

[4] J. E. Marsden and M. West, “Discrete mechanics and variational integrators,” Acta Numerica, vol. 10, pp. 357–514, 2001.

[5] N. Bou-Rabee and J. E. Marsden, “Hamilton-pontryagin integrators on lie groups part I: introduction and structure-preserving properties,” Foundations of Computational Mathematics, vol. 9, pp. 197–219, 2009.

[6] F. Bullo and A. D. Lewis, “Geometric control of mechanical systems. modeling, analysis and design for simple mechanical control,” 2004.

[7] V. Jurdjevic, Geometric Control Theory, ser. Cambridge Studies in Advanced Mathematics. Cambridge University Press, 1996.

[8] M. B. Kobilarov and J. E. Marsden, “Discrete geometric optimal control on lie groups,” IEEE Transactions on Robotics, vol. 27, no. 4, pp. 641– 655, Aug 2011.

[9] M. Kobilarov, M. Desbrun, J. E. Marsden, and G. S. Sukhatme, “A discrete geometric optimal control framework for systems with symmetries,” 2008.

[10] M. Kobilarov, “Discrete optimal control on lie groups and applications to robotic vehicles,” in 2014 IEEE International Conference on Robotics and Automation (ICRA), May 2014, pp. 5523–5529.

[11] A. Saccon, J. Hauser, and A. P. Aguiar, “Optimal control on lie groups: The projection operator approach,” IEEE Transactions on Automatic Control, vol. 58, no. 9, pp. 2230–2245, Sept 2013.

[12] A. M. Bloch, I. I. Hussein, M. Leok, and A. K. Sanyal, “Geometric structure-preserving optimal control of a rigid body,” Journal of Dynamical and Control Systems, vol. 15, no. 3, pp. 307–330, 2009.

[13] T. Lee, “Computational geometric mechanics and control of rigid bodies,” Ph.D. dissertation, 2008.

[14] D. H. Jacobson and D. Q. Mayne, Differential dynamic programming. Elsevier, 1970.

[15] Y. Tassa, T. Erez, and W. D. Smart, “Receding horizon differential dynamic programming,” in Advances in neural information processing systems, 2008, pp. 1465–1472.

[16] Y. Tassa, N. Mansard, and E. Todorov, “Control-limited differential dynamic programming,” in IEEE International Conference on Robotics and Automation (ICRA), 2014, pp. 1168–1175.

[17] G. Lantoine and R. P. Russell, “A hybrid differential dynamic programming algorithm for constrained optimal control problems. part 1: Theory,” Journal of Optimization Theory and Applications, vol. 154, no. 2, pp. 382–417, 2012.

[18] T. C. Lin and J. S. Arora, “Differential dynamic programming technique for constrained optimal control: Part i,” Computational Mechanics, vol. 9, no. 1, pp. 27–40, 1991.

[19] “Differential dynamic programming technique for constrained optimal control: Part ii,” Computational Mechanics, vol. 9, no. 1, pp. 41–53, 1991.

[20] M. Kobilarov, D.-N. Ta, and F. Dellaert, “Differential dynamic programming for optimal estimation,” in 2015 IEEE International Conference on Robotics and Automation (ICRA), May 2015, pp. 863–869.

[21] J. Gallier and J. Quaintance, “Notes on differential geometry and lie groups,” 2016.

[22] P.-A. Absil, R. Mahony, and R. Sepulchre, Optimization Algorithms on Matrix Manifolds. Princeton, NJ: Princeton University Press, 2008.

[23] R. Mahony and J. H. Manton, “The geometry of the newton method on non-compact lie groups,” Journal of Global Optimization, vol. 23, no. 3, pp. 309–327, Aug 2002.

[24] D. P. Bertsekas, Dynamic Programming and Optimal Control, 2nd ed. Athena Scientific, 2000.

[25] V. S. Varadarajan, Lie groups, Lie algebras, and their representations. Englewood Cliffs, N.J. : Prentice-Hall, 1974.

[26] L.-Z. Liao, Global Convergence of Differential Dynamic Programming and Newton’s Method for Discrete-time Optimal Control. Technical report, 1996.

[27] A. Iserles, H. Z. Munthe-Kaas, S. P. Nrsett, and A. Zanna, “Lie-group methods,” ACTA NUMERICA, pp. 215–365, 2000.

[28] L. Z. Liao and C. A. Shoemaker, “Convergence in unconstrained discrete-time differential dynamic programming,” IEEE Transactions on Automatic Control, vol. 36, no. 6, pp. 692–706, 1991.

[29] J. Nocedal and S. J. Wright, Numerical Optimization, 2nd ed. New York: Springer, 2006.

[30] P. Crouch, “Spacecraft attitude control and stabilization: Applications of geometric control theory to rigid body models,” IEEE Transactions on Automatic Control, vol. 29, no. 4, pp. 321–331, 1984.

[31] A. Saccon, J. Trumpf, R. Mahony, and A. P. Aguiar, “Second-orderoptimal minimum-energy filters on lie groups,” IEEE Transactions on Automatic Control, vol. 61, no. 10, pp. 2906–2919, Oct 2016.


VIII. 深度辨析、工程验证与 Chu 2026 几何 CDDP 论文升级范式

为支撑顶刊(IEEE TAC / IEEE T-RO / Automatica)严谨性认证,本节结合本地工程 AstroMPC 与 OCJax 真实测试数据,对 Boutselis 2018 展开系统性理论升华与代码映射:

8.1 先离散后线性化 (DtL) 与先线性化后离散化 (LtD) 严格误差分析

在矩阵李群最优控制中,连续动力学必须在计算机中转化为离散控制序列。学术界存在两大截然不同的路线:

对比维度先离散后线性化 (DtL) · Boutselis 2018 路线先线性化后离散化 (LtD) · Alcan 2023 路线
执行次序连续动力学 连续动力学
梯度的真实性严格真实:精确等于离散非线性代价对离散控制输入的解析偏导数。存在偏差:是连续伴随方程的近似,与真实离散优化的下降方向存在夹角。
截断误差阶次与离散非线性映射之间的导数误差为 (机算浮点极限)。与真实离散动力学偏导存在 交换子误差。
线搜索表现线搜索步长在收敛期可保持 满步接受,呈现超线性收敛。步长 易在边界处被迫缩减震荡。

在本地测试脚本 differential-dynamic-programming/Boutselis_2018_DDP_Lie_Groups/verification/so3/verify_so3_discretization_methods.py 中,实测对比两种线性化矩阵的差值范数:

随着步长 增大,LtD 产生的伪梯度漂移会显著拖慢优化迭代速度。


8.2 BCH 公式二阶展开张量推导与 dexp 算子几何本质

式 (23) 是整个李群 DDP 最核心的微分几何枢纽:

为什么右端无法直接相加?

  1. 李代数非对易性:在矩阵李群中,,两者的差别由李括号 刻画;
  2. 两阶段 BCH 展开:
    • 第一阶段:合并后两个因子 ;
    • 第二阶段:与左侧因子合并 。
  3. 高阶项截断:式 (27) 中包含的 和 是二次曲率对切空间的几何扭曲。忽略这些项将导致 Newton 步退化为 Gauss-Newton 步。

8.3 显式 Lie-Euler 积分器与高阶辛几何积分器 (LGVI / RKMK4) 的取舍

Boutselis 论文全篇采用了最简单的一阶显式 Lie-Euler 积分器 (21a)。在本地验证套件中,我们将其与另外两种高阶积分器进行了全面横向基准测试:

积分器类型几何保流形性辛结构/能量守恒单步误差阶次求导与 DDP 实现复杂度
Lie-Euler (显式)严格保群流形❌ 不保辛,长期仿真能量漂移适中(BCH 公式解析可解)
RKMK4 (四阶李群积分器)严格保群流形❌ 不保辛,但短期高精度极高(含 4 个内部级数互相嵌套)
LGVI (李群变分积分器)严格保群流形✅ 严格辛结构与动量守恒需利用隐函数定理求解离散伴随

在本地脚本 verify_so3_discretization_methods.py 实测 10 秒刚体自由翻滚任务中:

  • Lie-Euler:旋转误差 ;
  • RKMK4:旋转误差 ;
  • LGVI:旋转误差 (但在长时程下哈密顿能量严格守恒,无长期积分发散)。

8.4 无约束 DDP 的理论困境与现代约束处理三阶段进化路线

Boutselis 2018 最大的遗憾在于无法处理控制输入饱和与障碍物避障约束。当面对真实工程任务时,学术界演进出了三代解决方案:

                    李群流形 DDP 约束处理演进脉络
                                 │
     ┌───────────────────────────┼───────────────────────────┐
     ▼                           ▼                           ▼
【第一代:Box-QP 投影】       【第二代:增广拉格朗日】      【第三代:ALTRO 三阶段】
• 代表作: Tassa 2014          • 代表作: Alcan 2023        • 代表作: Howell 2019
• 机制: 仅限输入盒式约束      • 机制: AL 外环 + DDP 内环   • 机制: AL粗解 + 投影 +
• 局限: 无法处理状态走廊      • 局限: 缺乏近端项易病态     •      终极牛顿二次解精修

8.5 三巨头对比矩阵:Boutselis, Alcan, Howell 与 Chu 2026 定位

理论维度Boutselis 2018 (IEEE T-AC)Alcan 2023 (IEEE T-RO)Howell 2019 ALTRO (IEEE RA-L)Chu 2026 (本课题范式)
流形求导范式保结构 DtL (严格 BCH)工程 LtD (泰勒一阶展开)流形缩回 (Retraction)保结构 DtL + JAX 自动微分
曲率展开深度完整二阶张量 退化为一阶 iLQR平方根分解一阶 iLQR完整二阶解析 Hessian
约束处理能力❌ 仅限无约束⚠️ 增广拉格朗日 (单标量)✅ 对角 AL 惩罚 + 投影解精修✅ 对角 AL + 进近锥 + 速度包络
动力学不可行初始化❌ 必须严格可行初值❌ 必须正向仿真初值✅ 支持任意不可行轨迹初始化✅ 支持两点边值不可行轨迹初始化
扰动与鲁棒闭环认证❌ 纯轨迹优化❌ 仅无界随机扰动方差❌ 纯开环轨迹优化✅ NDOB 观测器 + 几何 Tube 不变管

8.6 经典文献捉虫:式 (40) 终端代价梯度与 Frobenius 黎曼度量相差 2 倍的真相

在本地验证脚本 verification/so3/verify_so3_cost_derivatives.py 中,针对终端姿态代价:

  • 原文公式 (40) 计算得到的梯度为:

  • 微分几何标准子流形投影: 若采用标准子流形内积 ,其欧氏梯度为 ,投影到李代数切空间后的黎曼梯度为:

两者相差恰好 2 倍。这一差异源于作者在对偶配对 的定义上采用了包含 的缩放规范。在进行工程复现与代码编写时,必须统一度量标准,否则会导致步长减半或 Hessian 条件数失配!


8.7 本地验证套件实测数据与代码映射

本地已构建完整的 Python / JAX 单元测试验证套件,位于 differential-dynamic-programming/Boutselis_2018_DDP_Lie_Groups/verification/:

  • so3/verify_so3_cost_derivatives.py:对式 (40)、(41) 的梯度与 Hessian 进行双精度解析验证;
  • so3/verify_tso3_dynamics_linearization.py:对式 (27)、(28) 的 BCH 展开进行 JAX jacfwd/jacrev 零偏差比对;
  • se3/verify_tse3_dynamics_linearization.py:扩展至 12 维状态空间 的刚体六自由度雅可比比对;
  • relative_se3/verify_relative_se3_dynamics.py:追踪航天器与非合作翻滚目标的相对姿轨耦合动力学验证。
🌟 读者学术评价与反馈 • PEER REVIEW & RATING

为本文打星评价

如果您觉得本文公式推导严谨、复现内容有启发,欢迎为文章打分支持!

0.0
☆☆☆☆☆
0 人已评价
👈 点击星星即可完成打分(1~5星)