Nat. Commun. | 连接已知与未知: Transformer重塑动力学推断

DRUGONE

在许多应用中，一个常见问题是研究对象从未被观测过，且仅能获得一次性稀疏观测。研究人员提出了一种混合框架，将Transformer与储备计算相结合。该方法的核心思想是：Transformer并非依赖目标系统的数据进行训练，而是基于无限量的已知混沌系统的合成数据完成训练。训练好的Transformer在面对新系统的稀疏观测时进行推断，其输出再输入储备计算机以实现长期动力学或吸引子的预测。通过在多个原型非线性系统上的测试，研究人员证明该方法能够从稀疏观测中准确重建复杂动力学。这一框架为在缺乏训练数据、观测随机且有限的情境下重建非线性动力学提供了新范式。

复杂系统的观测对于理解机制、重建动力学、预测状态和实现控制至关重要。在完整数据（满足Nyquist采样条件）的情形下，可以通过优化方法直接提取系统方程。然而，在现实世界中，设备故障、环境干扰、患者依从性不足等都会导致数据缺失和稀疏采样。此类数据的随机性与不足，使得非线性系统的重建尤具挑战性，尤其在混沌条件下，小扰动即可造成巨大偏差。传统机器学习方法通常需要目标系统的训练数据才能发挥作用，而当这些数据缺失时，动力学的重建难度极大。因此，研究人员提出了一种基于Transformer的框架，利用已知混沌系统的合成数据作为“实验室校准”，并结合储备计算，实现对未知系统的重建和预测。

结果

动力学重建

研究人员首先在三类非线性系统上进行了部署测试：三物种混沌食物链模型、经典Lorenz系统以及Lotka–Volterra模型。训练阶段，Transformer并未接触这些目标系统的数据，而是依赖28个其他混沌系统的完整时间序列进行学习。在测试时，Transformer利用稀疏观测数据推断目标系统的完整动力学，并表现出较高的精度。例如，在极高稀疏度下，Transformer仍能填补缺失点之间的动力学演化，而简单插值方法则失败。

动力学重建性能

研究人员通过均方误差（MSE）与预测稳定性指标评估模型表现。结果显示，当稀疏度增高时，重建精度下降；但在观测序列长度大于500、稀疏度低于1的条件下，Transformer依然能准确恢复动力学。同时，实验还表明该方法在小噪声干扰下仍具鲁棒性。

动力学重建的关键特性

Transformer的泛化能力源于其在多样化合成混沌系统上的训练。研究人员发现，随着训练系统数量增加，MSE呈幂律下降并逐渐饱和，这意味着框架的成功依赖于多样化的训练集。此外，研究人员展示了该框架在额外28个未见过的系统上仍具有良好表现，证明了其广泛适用性。与线性或样条插值相比，Transformer在高稀疏情况下显著优于传统方法；与压缩感知方法相比，在高稀疏场景下优势更加明显。

长期动力学预测

仅依靠Transformer重建的时间序列仍不足以直接生成长期动力学，因此研究人员进一步引入储备计算。Transformer生成的时间序列作为输入，用于训练储备计算机以产生任意长度的动力学轨迹。实验表明，该混合框架能够重建吸引子并预测长期气候行为，其预测与真实结果高度一致。即使在稀疏度较高的情况下，误差依然保持较低水平。

讨论

机器学习在非线性动力学的预测与控制中展现出巨大潜力，但其普遍前提是需要大量目标系统的训练数据。研究人员提出的框架突破了这一限制：在目标系统没有训练数据、仅有一次稀疏观测的情况下，依然能够实现动力学重建与长期预测。其关键在于训练策略的“三重随机性”：随机选择训练系统、随机输入序列长度、随机稀疏度，使Transformer习得通用的动力学推理能力。

研究人员强调，该框架的优势在于适用于未见过的系统和高度稀疏的观测环境。通过合成数据的多样化训练，Transformer获得跨系统的泛化能力；结合储备计算，更进一步实现长期吸引子预测。实验表明，该方法在多个生态系统和经典混沌系统中均表现稳定。

当然，该框架仍存在局限：当观测序列过短或稀疏度超过临界阈值时，性能会显著下降；对于非自治系统，需要采用混合训练策略以增强适应性。此外，该方法虽然展现出跨系统的外推能力，但其理论基础尚不完备，目前主要依赖经验和物理直觉。

整体而言，该混合框架为应对稀疏观测下的动力学重建和预测提供了新途径，尤其适用于医学监测、可穿戴设备健康数据、关键状态转变预测等领域。其潜在应用包括运动员过度训练检测、患者健康事件预警等，为稀疏数据驱动的复杂系统研究提供了重要工具。

整理 | DrugOne团队

参考资料

Zhai, ZM., Stern, B.D. & Lai, YC. Bridging known and unknown dynamics by transformer-based machine-learning inference from sparse observations. Nat Commun 16, 8053 (2025).

https://doi.org/10.1038/s41467-025-63019-8

内容为【DrugOne】公众号原创｜转载请注明来源