形态发生作为贝叶斯推理：复杂生物系统中模式形成和控制的变分方法

Morphogenesis as Bayesian inference: A variational approach to pattern formation and control in complex biological systems 2020

作为贝叶斯推理的形态发生：复杂生物系统中模式形成和控制的变分方法

摘要

近年来分子生物学的进步，如基因编辑[Mahas et al., 2018]、生物电记录和操纵[Levin, 2012a]以及使用荧光报告基因进行活细胞显微镜观察[Mutoh et al., 2012]，[V. Sekar et al., 2011]——特别是随着光遗传学中光控蛋白激活的出现[Bugaj et al., 2017]——提供了测量和操纵分子信号通路的前所未有的时空精度工具。这产生了关于生物体发育和再生的分子机制的越来越详细的信息。然而，在该领域缺乏一个能够预测形态出现和复杂解剖结构稳健维持的总体概念。

经典（即动力学系统和分析力学）方法，如最小作用原理，在表征生物学中占主导地位的开放式、远离平衡状态的系统时很难使用。在神经科学中，当试图从第一原理理解神经元动态时，也会出现类似问题。在这种（神经生物学）背景下，基于（主动）贝叶斯推理的变分自由能原理已经出现。最近，自由能原理已被应用于神经科学以外的生物自组织[Friston et al., 2015]，[Friston, 2013]。对于支撑发育或再生的生物过程，贝叶斯推理框架将细胞视为信息处理代理，其中形态发生的驱动力是细胞模型证据的最大化。通过适当表达与细胞内（即生成的）模型相对应的受体和其他信号来实现这一点。自由能原理在图形形成中新兴领域提供了一个重要的量化形式主义，用于理解胚胎发育、再生和癌症抑制中的细胞决策。在本文中，我们推导了贝叶斯推理背后的数学，如在此框架中理解的，并使用模拟显示该形式主义可以复制复杂形态生成的实验性自上而下的操作。首先，我们通过模拟改变前后轴极性（即诱导两个头部或两个尾部）来说明这种对形态发生的“第一原则”方法，如扁虫再生中所示。然后，我们考虑了细胞集合中单个细胞的异常信号传导和功能行为——作为癌症发生的第一步，因为细胞对应该“感知”和“执行”的错误“信念”。我们进一步展示，对推理过程的简单修改可以引起——并挽救——发育和再生事件的错误模式，而不改变细胞的内在生成模型，例如其DNA所规定的模型。这种形式主义提供了一条新的路径图，用于理解进化中的发育变化，并为再生医学环境中设计新的干预措施。

2 贝叶斯推理简介

进化变化是由DNA中的突变和对功能性体的选择所导致的。因此，了解由基因组编码的硬件如何使细胞的行为可塑性成为至关重要的，这些细胞可以合作构建和修复复杂的解剖结构。实际上，生物医学的大多数问题——如先天缺陷的修复、创伤性损伤的再生、肿瘤重编程等——如果能够预测和控制细胞实施动态模式稳态的过程，这些问题都可以得到解决。未来几十年生物科学领域的基本知识缺口和机遇在于，将自下而上的分子机制理解与自上而下的细胞决策制定和信息轨迹计算理论相结合。相关概念已经在神经科学和物理学中得到发展，但通常对发育或再生生物学家来说并不熟悉[Friston et al., 2015]，[Friston, 2013]。在这里，我们阐述了新方法采用的贝叶斯建模类型的数学基础，以理解后生动物细胞合作的特征——并模拟——形态形成。我们首先确定了可以用来分析和解决任何动态系统的李雅普诺夫函数，使用矢量微积分的基本定理（即亥姆霍兹分解）。我们用它来表征系统状态的广义流动，以收敛到非平衡稳态。然后，我们介绍了马尔可夫毯的概念，它将系统的外部和内部状态分开，其中马尔可夫毯由活动状态和感知状态组成。使用这种分区，我们可以用变分自由能替换李雅普诺夫函数，以解决内部和活动状态的演化，并因此表征远离平衡系统中的自组织，这些系统可以被划分为一个细胞（即内部状态及其马尔可夫毯）和外部环境。随后的部分将利用这一形式主义来说明形态生成和肿瘤形成的模拟。贝叶斯推理是一种统计过程，其中使用贝叶斯定理来根据传感器或环境的测量获得的证据更新假设的概率。实质上，任何类型的信息处理系统通过将感官样本与感官输入的预测进行比较，并更新对该输入原因的期望，来推断其环境的不可见（即隐藏）状态。贝叶斯定理基于概率论的三个基本公理，并用于将一个不可见事件A在给定一个可观测量B的情况下的条件概率与B为真时A的可能性联系起来。这可以表示为：

其中，条件概率 P(A | B) 也称为后验概率，即事件 B 给定时事件 A 的推断概率。相反，P(B | A) 是给定 A 条件下 B 的概率，称为似然。概率 P(A) 称为先验信念，而概率 P(B) 称为边际似然或证据。在贝叶斯推理中，上述关系被用于通过采样可测事件积累关于不可见或隐藏状态的信息。这被称为贝叶斯信念更新，因为它将先验信念转化为后验信念——基于一个生成模型。这被称为贝叶斯信念更新，用于根据其生成模型更新代理的先验信念，即 P(A | B) = P(B | A)P(A)。简而言之，观察到的似然和先验信念被结合起来形成后验信念。

为了将信息处理代理（例如细胞）的集合动态描述为贝叶斯信念更新的过程，我们需要将控制牛顿运动和生物化学活性的随机微分方程与上述概率量联系起来。如果我们将生物物理状态与概率密度的参数相关联，并确保它们的动态对称变量自由能量进行梯度流，那么这就是相当简单的。变分自由能是贝叶斯统计学中的一个量，当最小化时，它确保参数化密度收敛到后验信念，正如我们将在下面看到的那样。

在神经科学中，变分自由能的最小化被称为主动推断。这种神经元动力学的方法已成功地用于重现各种神经元现象。至关重要的是，最近的计算机模拟证明表明，完全相同的方案能够产生和维持自组织的体态图案。当满足系统的推断类型描述的基本条件时，即分离外部和内部状态的马尔可夫毯存在时，诸如生物细胞之类的代理会根据它们对毯状态如何影响外部状态以及外部环境中其他细胞状态的生成模型而组成有组织的聚集体。

在经典热力学描述中，这将伴随着整个系统热力学熵的增加，通过与每个细胞相关联的状态的局部组织增加（即熵的减少）。然而，由于生物系统，特别是细胞，总是处于开放、远离平衡或非平衡稳态系统，这个过程的动态几乎不可能计算。相反，通过集中于自组织的概率性描述，即贝叶斯信念更新，我们可以将系统的毯状态的熵上限置于可计算的范围内。简言之，我们将看到，具有马尔可夫毯的系统的动态，自组织到非平衡稳态可以描述为对这个可计算的（变分）自由能上限的梯度流。这种方法在神经生物学中已被证明具有很高的预测有效性，无论是在行为还是行动和知觉的神经相关性方面。然而，尽管其基本假设广泛适用，但在更广泛的生物科学领域中尚未进行探索。

3 数学基础

接下来，我们介绍支持非平衡稳态动态的贝叶斯解释的数学基础。我们将从简要概述赫尔姆霍兹分解和动力系统中的李雅普诺夫函数开始。我们将看到，可以用一个起到李雅普诺夫函数作用的势函数来表述任何动态。这从具有耗散性质的经典力学角度进行了说明。然后，我们将用Fokker-Planck方程在广义的运动坐标下导出相同的结果，用于密度动态。这种表述表明，势函数或李雅普诺夫函数简单地是处于非平衡稳态的状态被占据的概率的负对数。至关重要的是，这个数量从上方受到变分自由能的限制。这意味着在非平衡稳态下特定状态的流可以被描述为对由贝叶斯信念更新最小化的相同数量的梯度流。

3.1耦合动力系统的稳定性和收敛性143

3.1.1 The Helmholtz decomposition

(a) 要求 Lyapunov 函数 L 对于代表局部极小值的固定点 x* 是最小的，并且 (b) 表示随着时间的推移收敛到这些固定点。根据 [Yuan et al., 2014]，我们可以将稳定性的局部 Lyapunov 函数推广为任何动力系统的全局 Lyapunov 函数，它起到了任何动力系统的势函数的作用。这是通过将条件 (a) 推广到允许鞍点来实现的：

通过将向量值叉乘

替换为一个反对称矩阵 T ，可以推广这个方程到任意 n 维系统，以得到方程 (11) 的规范形式：

最后，根据[Yuan et al., 2014]，我们可以使用扩散张量Γ（定义为耗散随机波动的协方差的一半）和一个张量Q（描述摩擦），满足

，将这个表达式转化为标准形式。这里将 \( \psi(\mathbf{x}) \) 设置为上面定义的 Lyapunov 函数

，得到：

其中，

描述了状态的演变。该方程描述了非平衡稳态下由（保守和耗散）力引起的状态演变或流动。

总结一下，对于任何非平衡稳态下的动力学系统，我们可以用标量势函数或 Lyapunov 函数

表示流动，其中流动总是可以分解为梯度流，该流动最小化了势能，并且一个旋度为零的分量，沿势能的等势线流动。

最后的一步是将 Lyapunov 函数或势能与变分自由能关联起来，具体如下。

3.2 变分自由能

变分自由能是一个关于内部状态的函数，它使得可以将式（17）中的 Lyapunov 函数与贝叶斯模型证据关联起来，从而用贝叶斯推断和隐式生成模型来表征系统动态。该方法通过展开外部、内部和遮蔽状态的非平衡稳态流动来实现。在这种划分下，内部和活动状态不是最小化 Lyapunov 函数或（热力学）势能，而是最小化变分自由能。关键是，变分自由能是根据生成模型和由内部状态编码的隐式后验信念来定义的。这种最小化使得自组织现象可以被解释为根据贝叶斯规则进行信念更新。反过来，这使得我们可以用生成模型和随后的推断来具体描述由此产生的非平衡稳态，如下所示。首先，我们将在运动的广义坐标和由 Fokker Planck 方程描述的密度动力学中重新审视上述动态的标准形式。

3.2.1 广义流程

我们可以用运动的广义坐标来描述动态，用波浪符表示，其中

定义为：

这增加了一个状态及其速度、加速度等信息。稍后，我们将使用运动的广义坐标来参数化对外部状态（隐藏在马尔科夫毯背后的状态）的后验密度。广义坐标的另一个优点是可以容纳随机波动中的时间相关性。假设一个平滑的动态系统受到随机波动的影响，我们可以用 Langevin 方程描述状态的运动：

其中，

是由作用在状态上的力导致的状态的广义流（或时间演化），而

则是随机波动，符合通常的维纳假设（状态的流由一系列独立的、高斯增量组成，遵循连续的路径）。

在统计物理学中，随后的动态通常以密度或集合动态的形式描述；即通过福克-普朗克方程描述概率密度

的演化。可以通过保持概率质量的守恒从任何 Langevin 方程得到福克-普朗克方程：

这是一个偏微分方程，描述了在耗散（第一项）和保守（第二项）力下概率密度

的时间演化。在非平衡稳态下，密度动力学就是福克-普朗克方程的解：

这是在非平衡稳态下的解，与经典处理中粒子流动的解完全相同。关键是，我们现在可以看到Lyapunov函数是在任何（广义）状态下找到系统的负对数概率

。这在信息理论中也被称为状态的自信息（也称为惊讶），在贝叶斯统计中称为负对数证据。

总之，任何弱混合的动力学系统，在非平衡稳态下都会显示出一种流动，可以分解为惊讶的梯度流和相应的环流。因为我们可以将式(18)中的Lyapunov函数与自由能相关联[Seifert, 2012]，所以系统在收敛到一组吸引态（称为随机动力吸引子）时有效地最小化了一个自由能，这些吸引态有很高的被占据概率[Crauel and Flandoli, 1994]；即具有较高边际似然或证据。这种构造在生物物理研究领域被广泛使用，例如蛋白质折叠中求解稳态解[Dinner et al., 2000], [Lammert et al., 2012]。

3.2.2 最少行动原则

物理学提供了一个有用的形式主义，可以在定量水平上理解生物系统（如调控性发育和再生所表现的）尽管受到各种扰动，但仍能朝着不变的结果努力的能力。理解这种“目标导向”的活动是生物控制中的一个重要的未解问题。

最小作用原理可以预测形式的出现，即生物系统中最小作用路径或流的路径。例如，在蚁群中，蚂蚁会找到最小作用路径来采集食物并将其带回蚁巢。这个例子将它们的路径视为流通道或轨迹，为每次觅食找到最小平均作用，考虑到可用资源。更一般地，在开放系统中，作用的最小化导致结构形成。在这样的（耗散性）系统中，“流动”是能量、物质和组成要素沿着最小作用路径的流动。开放动力系统倾向于其最小作用状态，或“最高作用效率状态”。这样的耗散结构出现的一个典型例子是，当流动的流体（例如河流）侵蚀其流动的障碍物，形成一系列流通道的网络。

在（耗散性）随机动力系统中，动作并不是针对系统的每个元素最小化的，而是针对元素集合（或相同元素的重复轨迹）的平均值。因此，障碍约束最小化会减少系统中每个事件的动作，并使其自组织，形成一个可以被解释为耗散结构的流动结构。由于自组织的开放系统不是保守的，它们的结构化流动在本质上是耗散性的。虽然物理系统的李雅普诺夫函数通常用于建立动力系统中固定点的稳定性，但物理学家通常使用拉格朗日函数来解决系统状态的轨迹。在经典情况下，对于保守系统，拉格朗日函数定义如下：

其中 V 是系统的势能，通过系统的约束条件定义，而 T 是构成系统的粒子的动能。对于任何拉格朗日函数，广义坐标

中状态的轨迹由欧拉-拉格朗日方程的解给出，这些解受到变分原理的约束，使得以下泛函具有极值（即，是稳定的）：

S对广义状态的拉格朗日函数进行积分，积分边界条件由初始时间点t1和最终时间点t2定义。在这些点之间的最可能路径是通过使泛函导数为零来获得的；即，δS = 0。这就是哈密顿原理。在这种情况下，运动方程是从欧拉-拉格朗日方程推导出来的，这些方程是最小作用量原理的解：

系统中代理的运动约束还由拉格朗日乘子提供。

这个方程中还可以添加随机噪声项，这对于生物系统是相关的。因为拉格朗日描述了粒子在力场中的轨迹，所以泛函 S 就是系统的作用量。因此，当将变分原理应用于系统的作用量时，这被称为最小作用量原理。要将最小作用量原理应用于生物学中感兴趣的系统类型，需要考虑粒子系统的一系列作用量。最小化平均作用量允许个体轨迹偏离其最小路径，以便它们可以减少其他粒子的作用量。对于一个粒子系统，最可能的解决方案是使作用量的平均值最小化，与其他粒子排列和它们流动的隐含约束相比。随着系统的演化，它将永远搜索作用量的更低的极小值。这意味着最小作用量原理不是孤立地应用于每个集合成员，而是由依赖于许多特征的粒子之间的耦合上下文化。这些特征包括：粒子的数量，相互作用的数量，系统在某个时间间隔内的总作用量等。此外，这些相互依赖的函数（相互函数）受到幂律关系的约束。从我们的角度来看，这里的关键观察是，任何（耗散性的）随机动力系统都可以表述为其状态的对数似然的梯度流。这反映在我们对 Fokker-Planck 方程的解

中，这意味着作用量是边际似然或自信息的时间或路径积分。

对于任何系统或模型 m。这意味着，对拉格朗日量的最小作用量积分变成了对状态的自信息的积分，这在信息论中被称为熵。简而言之，最小作用量原理表现为最小熵原理 - 对于具有随机动力吸引子的系统 - 从而获得非平衡稳态。现在我们考虑支撑贝叶斯推断的系统或模型 m 的特定结构，即马尔可夫毯。

3.2.3 马尔可夫毯

一项丰富的文献正在围绕细胞和许多其他非神经系统通过特定的传感器测量其环境方面的能力而发展[Baluska and Levin, 2016]。所有生物系统都可以根据感知和内部状态以及它们之间的关系进行分析[Rosen, 2012]。

×表示返回一组集合的乘积集的笛卡尔积。随后的分区在表1中定义。因此，分隔外部和内部状态的马尔可夫毯由S × A给出，如图1所示。对外部、内部和毯子状态的分区基于系统的运动方程或动态中隐含的条件独立性。简而言之，外部和内部状态仅取决于毯子状态，受到感知状态不受内部状态影响以及主动状态不受外部状态影响的约束。

有了马尔可夫分区（和相关的影响），流

可以分解为4部分：

其中 m 描述了定义基础随机动力系统（例如细胞）的马尔可夫分区。

图1. 马尔可夫分区示意图。每个细胞的内部和外部状态由马尔可夫分区分隔，其中包括细胞的感觉和活跃状态。内部状态可以解释为细胞的胞内状态，例如其基因表达水平。而感觉状态对应于细胞膜的表面状态，例如受体和离子通道状态。活跃状态由细胞骨架的基础活跃组分给出，例如肌动蛋白丝和微管。通过将马尔可夫分区的梯度流与贝叶斯信念更新关联起来，内部状态的自组织——对感觉波动的响应——可以被视为感知，而活跃状态则通过将内部状态间接地耦合到隐藏的外部状态，提供了行动和行为的数学表述。摘自[Friston等人，2015]。

该动态的关键之处在于，一个代理的自主状态（即活跃状态和内部状态）取决于相同的数量，这一数量简化为找到代理处于特定状态的对数概率；其中代理的状态包括内部状态及其马尔可夫毯。在这种分区中，自主状态是不依赖于外部状态的状态，即内部状态和活跃状态。因此，解方程（30）以求解活跃状态和内部状态的演变，对应于评估上述对数概率的梯度，这些概率对应于开放系统的拉格朗日量。一般来说，这将是一个非常困难的问题；然而，我们现在可以用系统认为其应该表现的概率模型的变分自由能泛函来替换拉格朗日量，具体如下。

3.2.4 Kullback-Leibler散度和变分自由能

利用上述马尔可夫毯分区，我们现在可以将内部状态解释为对外部状态的某种任意概率密度

进行参数化。这使我们能够将拉格朗日量或 Lyapunov 函数表达为对信念的自由能泛函，隐含地是对内部状态的函数。在概率论中，一个遍历随机动力学系统是一个系统，其在时间上的平均行为与在系统状态上的平均行为相同。在物理学中，遍历性意味着系统满足热力学的遍历假设，该假设认为在足够长的时间跨度内，系统在某个状态或相空间区域中（具有相同能量的）所花费的时间与系统被发现在该区域的概率成正比。

利用统计学中对期望值的定义，作为在所有状态 x ∈ R 上的平均值。

然后，我们可以通过引入 Kullback-Leibler 散度来表示变分自由能：

第一项也被称为（贝叶斯负对数）模型证据，或边际似然，实质上描述了感觉输入由马尔可夫毯 m 中隐含的生成模型生成的可能性。第二项称为相对熵，其作用是最小化变分密度

和后验密度

之间的差异。因此，最大化模型证据导致系统的自由能最小化，而由于第二项的差异永远不会小于零，自由能是负对数证据的一个上界。使用这个表达式，自治状态（即主动和内部状态）的流变为

需要注意的关键问题是，对变分自由能的梯度下降将使等式（32）中的差异减少到其零的下界（因为差异不可能小于零）。在这一点上，等式（34）中的差异的梯度消失，动力学减少到等式（30）中的自组织，这正是我们想要解决的问题。

这很重要，因为方程（33）中的变分自由能界限可以在给定生成模型的情况下以直接的方式进行评估；即，对于（广义的）外部、内部和毯子状态的联合概率。从这个观点来看，我们可以将方程（33）中的联合概率与一个似然相关联；即，给定外部状态和先验条件下细胞状态的概率；即，细胞状态的先验概率（即内部状态及其马尔可夫毯）。最后，这意味着

扮演着关于特定马尔可夫毯或模型（m）下隐藏或外部状态的后验密度的角色。关键是，这种变分后验是由内部状态参数化的。换句话说，我们可以谈论内部状态如何编码有关外部状态的信念。

总之，要解决自组织问题，我们可以为细胞指定一个生成模型并集成（34）。在我们转向构建这个生成模型之前，我们将简要考虑下面在后续部分中使用的贝叶斯过滤方案，以动态信念更新的方式模拟自组织。

3.3 贝叶斯过滤和自组织

我们已经看到，对于任何具有马尔可夫毯的系统的动态，可以用一个依赖于生成模型的变分自由能替换 Lyapunov 或 Lagrangian 函数。这个变分自由能实际上是模型证据的一个变分（上）界；在这里，解释为代理状态的概率（见方程（1））。这意味着可以总是将任何自组织到非平衡稳态（即，状态密度的时间变化无关）解释为最大化一个扮演贝叶斯模型证据角色的数量。这有时被称为自证明，这是大脑科学中的一个概念，代理者（通常是大脑）必须确定一个证据边界，作为推理的必要条件。

这里的变分自由能恰好是统计学和变分贝叶斯中使用的完全相同的数学构造。这种情况的简单示例包括卡尔曼滤波和粒子滤波，用于推断动态贝叶斯网络下的隐藏状态。类似的方案已经被用来推断遗传调控网络结构，从可用的基因组微阵列时间序列测量中。将诸如卡尔曼滤波之类的方法推广到非线性设置（在广义的运动坐标中），会导致广义的（变分）滤波。这些方法通过假设上述变分密度

的固定形式（通常是高斯形式）对模型证据施加一个变分自由能界限。这种固定形式的假设支持变分近似，将一个难以处理的积分问题（30）转化为一个可处理的优化问题，可以表示为梯度下降（34）。随后的优化依赖于一个特定的生成模型——以及隐含的先验——在本文中呈现的研究中，对应于目标形态或目标状态。

总之，变分滤波是对变分自由能的量化和最小化，它将粒子的内部状态及其马尔可夫毯的离散度限制在一个上界之内。因此，变分自由能将任何自组织过程转化为自由能景观上的梯度下降，其中盆地对应于吸引子状态或目标状态——类似于目标形态——如下所述。

4 形态发生建模

在本节中，我们通过上述变分原理，尝试通过信息处理和误差最小化来解释模式调节模型的行为，从而阐明自组织到非平衡稳态的行为。在这种情况下，游戏发生了微妙但深刻的变化。正如前面所述，任何具有马尔可夫毯的随机动力学系统的动态可以用变分自由能的梯度流来表述。作为提醒，马尔可夫分区将所有状态x ∈ X分为外部状态e ∈ E、感觉状态s ∈ S、主动状态a∈A和内部状态i∈I（以及它们的广义版本

）。变分自由能建立在一个未知的生成模型之上，该模型产生了导致自组织的动态。在这里，我们通过指定一个生成模型（和隐含的变分自由能函数）来颠覆这个公式，并通过求解方程中的运动方程（34）来模拟自组织。换句话说，我们通过概率生成模型来指定吸引集的形式，该模型描述了外部状态如何扰动毯状状态（即似然模型）以及外部状态如何演变（即先验）。为了做到这一点，我们必须模拟每个细胞或代理的自治状态（即内部和活跃状态）的流动，以及构成其直接环境的外部状态。换句话说，我们必须将外部动态指定为一个生成过程，并且生成模型是由内部状态的流动所涉及的。为了说明基本现象学，我们将考虑一组细胞的自组装，以模拟形态发生，在不同条件下。所需的生成模型相对简单，但用于说明这种自组装的自生成行为的潜在效用。

4.1 构建模型

上标表示我们层次模型 g 的第一和第二级。对于随机波动或噪声 ω 的高斯假设意味着我们可以将所需的似然和先验写为:

其中 N 表示正态分布，Π(t) 表示随机波动的精度（或逆方差）。

然后，我们使用相关的拉格朗日函数或李雅普诺夫函数构建了在（32）中介绍的近似后验密度

。

这里的

表示拉格朗日函数关于内部状态的曲率。有了这个生成模型和对变分密度的假设形式，我们现在可以评估任意给定感知状态的变分自由能，并根据方程 (34) 进行梯度下降。

一个有趣的技术细节在于使用广义坐标运动。这意味着可以将耗散流与方程 (37) 中的期望能量函数的梯度下降关联起来（注意，变分自由能的熵项不依赖于内部状态编码的均值）。此外，我们可以将无散流与更新项关联起来，这样

这里，D 是一个块状矩阵运算符，作用于广义坐标运动上，返回无散的广义运动。Γ 和 Q 是先前介绍的扩散和摩擦张量，而 Eq[L] 是在变分密度（即后验信念

下的 L 的期望值。这个无散分量有效地起到了贝叶斯滤波中的更新项的作用，可以被解释为在一个移动的参考系上对变分自由能的梯度下降。详情请参阅 [Friston et al., 2010]。总之，这个方案可以被看作是一个广义（变分）滤波器，其中内部状态成为外部（隐藏）状态的期望值。

最后，我们假设动作足够快，可以使用绝热近似

，这极大地简化了外部动态的规定。

4.2 变分自由能最小化

通过有效地最小化变分自由能，每个马尔可夫毯或代理将似乎参与信念更新，根据生成模型，使得系统的演变不可避免地导致了一个自由能最小的非平衡稳态。这为所有发展和再生学生熟悉的直观概念提供了严谨的基础：细胞行动，重塑组织和器官，以最小化当前构型与物种特定解剖目标状态之间的全局差异。细胞和细胞群基于它们从环境中感知的信号（测量）改变其行为，并根据期望行动（由遗传编码，并通过细胞学习塑造）进行行动。

由于自由能对应于（对于）贝叶斯模型证据 -

，因此这种自组织行为也将表现为自证现象。这种动态描述使用了诸如贝叶斯信念 q(˜e) 和自证现象之类的术语，纯粹是在技术上（非命题性地）使用，可归因于简单的系统，如大分子和细胞。下面的模拟考虑了一小组装备有相同生成模型的细胞，以便它们集体自组织以最小化相互依赖的变分自由能，这具有形态发生的所有特征。这个例子适用于高度再生的扁虫等模型。模拟中的所有细胞都从其环境中心附近的随机初始信号特征开始。为了使它们自组织到目标配置，每个细胞必须通过形成和测试关于其感知到的信号浓度的隐藏原因（即其他细胞的分泌特征和因此的细胞身份）的信念（或预测） q(e) 来推断其在整体中的位置。这可以用最小化自由能来形式化，有效地最小化预测误差

。

图2. 通过变分贝叶斯模拟显示的形态发生示意图，该模拟以扁虫和其他生物中观察到的再生分型为例。A: 在解剖扁虫的中心片段时，组成细胞将重塑成新的蠕虫。为简单起见，在模拟中，形成不同组织类型的细胞被归为一种细胞，并在图3中定义了细胞信号类型。B: 预期的信号浓度（背景颜色）在每个最终位置（彩色星星）上编码了细胞推断的模型，颜色编码来源于A。C: 细胞不断地将其感知到的信号浓度与其预期进行比较，通过最小化其自由能函数，从而有效地减少了在预期感觉状态 s 上定义的预测误差

，如方程（47）中所示（虚线），s 的定义在方程（40）中（实线）。

更加详细地说，在这些模拟中，每个细胞都可以控制它分泌四种通用信号类型的水平，并且每个细胞可以在任何方向上移动。此外，每个细胞都具有基于信号浓度的通用位置编码模型，该模型是根据该配置下感知到的信号浓度建立的。这意味着对于细胞簇中的四种可能的细胞类型，每种细胞类型都与特定的位置相关，细胞预期感知特定的信号分子浓度。见图3。

感知状态s对应于细胞内、外源和细胞外信号的趋化浓度，即：

这段文本描述了细胞之间通过分泌和扩散信号分子来影响彼此的信号浓度。为了翻译这段文本，我需要知道“e”、“c”和“x”这些术语的上下文含义。在这里，“e”可能是外部环境的状态，而“c”和“x”可能是其他细胞的浓度和位置。但为了确认翻译的准确性，我建议查看上下文以获得更多信息。

这段文本描述了在位置j处表达的四种信号的组合，这些信号在图2B中被编码为颜色，并围绕着目标位置e∗，这些目标位置在图3中被定义。

这段文本描述了第i个细胞与其余细胞之间的距离，其中分泌的信号通过扩散系数k进行扩散。为了防止在早期模拟步骤中对浓度梯度过于敏感，并模拟细胞对细胞外信号的反应的出现（例如，随着时间的推移细胞表面受体的增加表达），引入了一个时间敏感因子τ ∈ [0, 1]。

这段文本解释了softmax函数（或归一化指数函数）。该函数通常在神经网络中使用，以强制满足总和为一的约束条件，这使得可以将其解释为对相互排斥结果的分类分布。利用这些表达式以及前文中的运动方程，我们可以将内部和主动（即自主的）状态的流动从（34）式中表达为……

在抑制高阶项的同时（在对系统进行平滑处理的假设下，这由（43）式保证）。这里，

是与感觉状态相关的预测误差，即趋化信号受体的状态，因此可以表达为：

D对应于广义状态上的矩阵导数运算符，信号精度Π(1)设置为1。我们假设在隐藏状态上有高斯先验（均值为0），其精度Π(2)很小（即方差很大），对数精度为负二。

总之，在这种生成模型下（具有连续状态和加性高斯噪声），内部状态会组织自己以最小化（加权精度）基于来自邻近细胞的感测信号状态的预测误差。在神经生物学中，这种方案也被称为预测编码，可以被看作是贝叶斯滤波的一种广义形式，如第3节所述。预测编码是指通过模型证据

的累积来描述系统动态，最大化似然

[Friston and Kiebel, 2009]。这是上面变分自由能制定的过程。

在接下来的章节中，我们将描述一些数值分析的结果，通过在硅中再现经验行为来证明这种变分制定的有效性。特别地，我们模拟了这个多细胞群体对常用的实验性扰动的响应。

4.3 扰动模拟

4.3.1 动物体极性反转

首先，我们在生成过程中引入了一个梯度，用于表示每个细胞从其环境中接收到的信号输入，这取决于每个细胞的趋化行为（感知和对信号作出反应）和信号输出（分泌）。这代表了信号浓度在细胞外环境中传播、维持或抵消的方式发生了变化（例如，反映了粘度或渗透压调节化合物的实验使用），或者细胞对其环境变化的敏感性发生了变化（类似于我们使用的时间敏感因子τ）。这种操作可以通过使用调节受体活性的药物在实验中实现；例如，大脑中的神经递质使用乙醇 [Banerjee, 2014]，或者通过细胞表面受体信号传导通路的交互调节使用维甲酸 [Chambon, 1996]。

为了模拟形式上的改变，比如体极性反转，可以改变产生感知输入的过程，如式(40)所示；即感知状态s和构成细胞内、外源性和细胞外信号的趋化浓度的外部状态e之间的映射。具体而言，我们将映射

更改为：

在垂直轴上进行改变，从而改变了每个细胞在垂直方向上相对于另一个细胞的感知距离。在这种情况下，（a）导致双头形成，（b）导致双尾形成（参见图4）。

基本上，通过在（48）式中引入对梯度平方具有不同符号的项，我们改变了感知状态（信号输入）如何根据其他细胞位置的细胞外浓度（外部状态）的变化而更新。平方梯度产生两个效果：

1. 它只基于正值（或在（48）（b）中的负值，在该式中使用负号）更新信号浓度，从根本上导致每个细胞将所有感知输入解释为来自某个方向的增加信号。

2. 它增加了感知输入对细胞外浓度（外部状态）的敏感性，从而增加了有效精度。

4.3.2 异常细胞行为

从观察通常严密的过程出现异常的情况中，我们可以获得对生物调节的一些最深刻的见解，比如被称为癌症的细胞异常 [Moore等，2017]，或者在出生缺陷中观察到的发育紊乱。这些过程可以通过改变细胞决策来轻松地在我们的范例中建模。如果我们引入与之前模拟中相同类型的梯度，但仅针对一个细胞，那么我们实际上是在改变该细胞对其环境变化的敏感性（参见图5）。

这可以正式地指定为

图4. 时段电影剪辑，展示了镜像前/后极性（头部和尾部位置）的形态发生模拟。A：8个初始未指定细胞类型的细胞开始通过趋化作用推断出正确的目标形态，并更新其后验信念或预测q，从而更新分泌配置文件。B：使用(48)(a)，我们在每个细胞从其环境接收到的信号输入的生成过程中引入了正的平方梯度，导致双头形成。C：使用(48)(b)，我们在每个细胞从其环境接收到的感知输入的生成过程中引入了负的平方梯度，导致双尾形成。

简而言之，通过对细胞外扩散进行简单操作，可以恢复正常的模式形成。这些例子说明了对细胞外信号进行简单改变如何对自组织产生深远影响——这种影响在很大程度上取决于细胞集合行为的敏感性——这依赖于共享的生成模型。这些模拟的一个关键观点是，可以在不改变任何细胞内机制（即，隐式生成模型的编码）的情况下重现异常形态发生（以及癌症的基本形式）。这里的信息是，从推断过程的角度来看形态发生，意味着细胞对其外部环境进行建模的能力取决于外部生成过程与这些过程的模型之间的一致性。对任一方的干扰都可能导致集合动力学的深刻变化。在这里，我们将操作限制在外部生物物理学上；即，生成过程。在未来的工作中，我们将探索更多涉及关键经验现象的操作。这些模拟的Matlab软件，在不同条件下运行，可以从作者处获取，并作为学术SPM软件的一部分从https://www.fil.ion.ucl.ac.uk/spm/software/下载（通过命令>> DEM调用图形用户界面进行访问）。

图5. 时段电影剪辑，展示了具有单个细胞异常信号的形态发生模拟。A：8个初始未指定细胞命运的细胞开始通过趋化作用推断出正确的目标形态，并更新它们的信念，因此也更新了分泌配置文件。B：其中一个细胞（白色箭头）具有受扰动的信号响应机制，因此未能正确推断其在集合中的位置。C：B中相同的异常细胞最初被其他细胞信号敏感性的增加所挽救，导致另一个细胞（绿色箭头）与异常细胞（粉色箭头）交换位置。

5 讨论与结论

在这里，我们为一个尚未被充分理解但非常重要的现象提供了严格的数学基础：细胞决策，比如在模式调节过程中发生的情况。贝叶斯推断框架使得能够建立感知机制与细胞和组织中的功能行为之间的定量模型。在第3节中，我们已经展示了在贝叶斯推断中被最小化的变分自由能如何作为经典分析和统计物理学考虑的结果，成为最小作用原理的一种独特形式。具体而言，我们表明，在任何动力系统中，李雅普诺夫函数起到势函数的作用，并通过梯度下降来最小化该函数，以解决系统中状态的流动。然后，我们引入了状态的马尔可夫毯分区的概念，使我们能够用变分自由能泛函来取代李雅普诺夫函数——或者在经典最小作用原理中用于计算梯度下降的相关拉格朗日量。这个泛函将任何动力系统的经典梯度流变成了对关于外部状态的（对数）差异（贝叶斯）信念与所有状态的实际概率密度之间的期望的梯度下降——这由Kullback-Leibler散度给出。对于非平衡系统，这将热力学势的一个难以处理的积分问题转化为对系统认为应该如何行为的概率模型的可处理的积分。

在第4节中，我们展示了如何将变分自由能景观的吸引子（或目标）状态与发展、再生或异常生物学环境中的目标形态联系起来，从而将形态发生视为一种推断过程。通过对这些过程进行贝叶斯推断模拟，我们展示了如何通过对外部生物物理学的操作（即我们模拟的生成过程）来控制形态发生的结果，通过对推断过程的基础生成模型的了解。

在更详细地讨论这些模拟结果并就将这种贝叶斯自组织的表述应用于实际生物系统中的形态发生的实验控制之前，我们将首先分析构成该模型的数学假设。

5.1 模型基础数学假设总结

上述模拟的变分表述要求系统足够平滑。这意味着信号突然变化可能会干扰模拟。在我们的应用中，通过使用来自（43）式的时间敏感系数来优化这种效果。

这种类型的时间依赖性敏感性是从理论考虑中出现的，原则上可以在真实生物系统中进行实证测试。这种时间敏感性可能通过受体的增加或蛋白质修改细胞内信号转导效率而表现出来；例如，在G蛋白的水平上，它们作为多条信号通路的分子开关 [Gilman, 1987]。当分析一个从预先指定配置开始的细胞系统时，比如在发育或再生的后期阶段，这种时间敏感性可能不是（隐式）生成模型的一个突出特征。

我们还对状态流动中的波动ω做了高斯假设，对近似后验密度做了拉普拉斯假设（参见（38））。拉普拉斯假设通常应用于对神经元群体动态进行建模，通过高斯神经元群体密度。这使得可以用关于群体均值和协方差的演化方程来描述群体动态，使用福克-普朗克方程 [Marreiros et al., 2009], [Friston et al., 2007]。这种假设也应用于基因调控网络 [Imoto et al., 2001]，这促使了本文中使用的内部状态的概念。

最基本地，我们假设存在一个马尔可夫毯，通过一组主动状态和感知状态将外部和内部状态分离开来。这种统计界限并不需要代理之间的固定或唯一界限，而可以是可变的 [Clark, 2017]，并符合[Friston, 2013]中的模拟类型。然而，需要通过实证验证细胞水平上的信号传输和自适应响应并非瞬时的（如我们的绝热近似），以及主动状态确实会引起感知状态的变化。最后，我们引用了非平衡稳态（在遵循遍历假设的情况下）来研究这里所研究的动力学类型。虽然这是在描述动力学系统时常见的假设，但有人认为任何生物系统在分子水平上都是非遍历的 [Longo and Mont´evil, 2013]。然而，目前尚不清楚这是否适用于我们所调查的细胞信号和基因表达状态。此外，构成自由能原理的遍历（例如，弱混合）假设仅是那些在存在回抽吸引子的假设下的假设。回抽吸引子被定义为一个状态或一组状态，如果在足够长的时间内并在这些遍历假设下进行连续混合，那么一个随机动态系统会收敛到该状态（但由于随机波动可能不一定达到）。换句话说，支撑这里提供的变分表述的关键假设是存在一个吸引集，支撑非平衡稳态。

5.2 将变分原理扩展到开放系统

因为我们已经表明，主动推断中的变分自由能最小化与最小作用原理的变分原理相关，因此值得指出这两种方法的分歧之处。由于变分微积分和最小作用原理的性质，在这些原理中，作用量在固定时间点之间的时间间隔上被积分，通常仅适用于闭合系统——而不是远离热力学平衡的生物系统。

为了衡量复杂开放系统中的作用效率，最小作用原理需要从沿着单一固定轨迹的最小作用量修改为在一定时间间隔内轨迹集合上的平均作用量的最小值。

在开放系统中，状态和约束的数量以及系统本身的能量都在不断流动和变化。这将导致系统收敛到一个吸引子状态，但永远不会真正达到它，而是处于一个不断重新组织的过程中。[Georgiev, 2012]。

这也适用于本文中的模拟，在这些模拟中，系统从一个远离平衡状态开始，这就需要引入时间敏感性τ。此外，虽然变分自由能随时间最小化，系统似乎接近一个吸引子状态，但由于外部状态的固有随机波动ω，先验信念的更新仍然存在部分信息流。

5.3 贝叶斯推理对生物系统的适用性

上述基于贝叶斯推断过程的建模的一个核心方面是通过证据积累更新先验信念（即代理的内部模型参数，编码其对环境的期望），通过（1）中的贝叶斯定理所规定的，由不断变化的主动状态有效地实现预测。因为这个过程基于变分自由能的最小化，以及在（33）中引入的先验信念和后验密度的分歧，这必然意味着存在一种可观察的非随机的探索机制，可以积累更新先验所需的证据。例如，在视觉感知中，注视眼动被识别和建模为一种有效地积累模型证据的探索机制[Friston et al., 2012]。

在这种设置中，选择的动作是为了最小化预期的自由能，其中预期的自由能具有减少不确定性、寻求信息的特性。在非神经生物学中，已经显示对环境压力的适应会引发基因表达中的探索性响应，例如在应激刺激后大鼠中出现了以前未表达的外源基因[Elgart et al., 2015]。同一团队的理论模拟显示，这种补偿在理论上可以通过基因的随机探索性表达来解释，直到正确的基因被表达出来[Soen et al., 2015]，但必须问的问题是，这在短期适应的情况下效率如何，以及由于有害基因的随机表达而产生的负面影响如何被平衡。相反，我们沿着贝叶斯推断的线索推断，这种基因表达不是随机的，而是遵循由细胞的活跃状态变化编码的明显轨迹（例如，蛋白质翻译、细胞骨架重新排列和膜渗透性以及受体活性的改变）。

换句话说，我们假设外源或其他意外基因的表达是由一个定向的、探索性的过程驱动的，其中活跃状态变成了表达特征，其目的是通过先验信念来最小化变分自由能，这些先验信念是以贝叶斯意义上述所述的内部表观状态编码的。如果这些明显的轨迹都不存在，我们将不得不得出结论，在这样的适应实验中，基因表达的贝叶斯推断过程无法发生，而必须转向一个不同时间尺度上的适应机制，例如其短暂的生物电状态。如前文所述，相同的情况也适用于先验信念（例如由细胞的表观遗传状态编码），这些信念需要能够在生理适应的时间窗口内进行更新。

5.4 模拟的预测能力

在我们的模拟中，我们能够系统地扰乱我们模型系统的整体形态，而不改变构成细胞的内部生成模型；即基因调控网络，这些网络激发了内部状态。首先，我们产生了前后极性的变化（即两个头或两个尾部区域），模拟了在平面虫再生中诱导的表型[Durant et al., 2017]。尽管由Durant等人探索的瞬时生物电模式扰动诱导的表型机制并未明确用于此模型，但值得指出的是，两者都保留了底层的、硬连线的内部状态——即基因水平——未经修改，而是在编码最终目标形态的计算细胞过程上起作用[Levin, 2012b]。

其次，我们再现了单个细胞在细胞集合中的异常信号和功能行为，作为癌症形成的第一步。我们展示了通过对推断过程进行简单修改，我们可以诱导——并拯救——这些发育和再生事件的错误模式化，而不改变由其DNA确定的细胞的硬连线生成模型。我们得出结论，在发育和再生过程中，从宏观到微观尺度的反馈——特别是考虑到发展组织动态适应其环境变化的能力——意味着需要在细胞水平上进行主动推断，并且本研究探索的变分形式主义为我们提供了预测和控制其结果的手段。

5.5 结束语

当前尝试控制发育或再生生物系统中形态发生结果的一个主要挑战是如何定量建模单个细胞的信号传导和感知活动是如何协调和调节，从而产生能够实现稳健结构和功能的大尺度解剖模式[Levin, 2012b]，[Gilbert and Sarkar, 2000]。

该领域的一个重要空白是，所研究的生物系统的复杂性和非平衡性质使得难以计算随时间变化的状态流动，从而难以控制这种流动到与所期望的形态发生结果相对应的不同稳定吸引子状态[Levin, 2012b]，[Goodwin, 2000]。

在这里，我们展示了变分自由能的表述——将形态发生看作是一种（贝叶斯）推断过程——使我们能够通过对外部生物物理学的调控来控制特定的形态发生结果；通过提供这些生物物理学、形态发生场的基本洞察力和建模能力，使得个体细胞如何解释并用于在宏观水平上协调。值得注意的是，这种能力是在不改变细胞的隐含生成模型的情况下实现的，例如由其DNA指定。因此，这种形式主义为理解进化中的发育变化和在再生医学环境中设计新的干预措施提供了新的路线图，这些干预措施在基因组水平上的系统级结果很难预测。

在拥有了这些概念验证结果之后，我们现在可以探索更广泛的操作方法，以解决发育生物学和再生生物学中的关键实证现象。至关重要的是，挑战在于编写——并在实验台上进行测试——一个真实的发育、再生或异常生物系统的生成模型，其中可以将现实的生物物理参数输入到实验可操作的体内模型中，以实现对生长和形态的前所未有的理性控制[Pezzulo和Levin, 2015]，[Pezzulo和Levin, 2016]。