中国海洋大学刘昊团队提出RLP模型，通过强化学习生成多肽药物

蛋白质含有未知的氨基酸残基，提取它们用于合成药物肽可以创造具有独特性质的新结构，从而推动药物开发。新型多肽药物分子的计算机辅助设计可以解决传统药物发现过程中成本高、效率低的问题。

通过生成式的深度学习模型，利用氨基酸残基进行多肽生成，解决了氨基酸序列的精确控制、特性修饰的定制化多肽以及大规模多肽合成等关键问题。然而，以往的研究由于缺乏对氨基酸结构连接关系的重视，在提高多肽药物的生物活性和药物相似性方面存在局限性。

2024年9月10日，中国海洋大学刘昊老师团队在Briefings in Bioinformatics上发表文章Reinforcement learning-driven exploration of peptide space: accelerating generation of drug-like peptides。

作者提出了一种基于图注意力机制的强化学习驱动的多肽生成模型，称为RLP（Reinforcement Learning for Peptides）。通过利用图注意力机制的优势，该模型有效地捕获了肽中氨基酸残基之间的连接结构。同时，利用强化学习在指导最优序列搜索方面的优势，为肽设计和优化提供了一种新的方法。该模型引入了具有实时反馈回路的演员-评论家（actor-critic，A2C）框架，实现属性之间的动态平衡，可以针对特定靶标定制生成多肽。实验结果表明，RLP在一系列任务中超越了现有方法。

如图1所示，本文提出了一种基于图注意机制的强化学习驱动多肽生成模型。首先，该模型利用图注意机制进行特征提取，有效捕获多肽中氨基酸残基之间的连通性。随后，将多维特征向量输入到基于A2C的强化学习生成框架中，整合生物活性和ADMET特性优化作为奖励机制，指导最优肽序列的生成。

图1 RLP结构图

图注意力网络由两个并行组件组成：图注意力机制（GAT）和门控循环单元（GRU）。GAT负责构建一个以氨基酸残基为节点，它们之间的关系为边的图。在这个图结构中，GAT在提取关系特征方面表现出了出色的能力，成功地捕获了肽中氨基酸残基之间的连通性。另一方面，GRU擅长提取序列中的依赖关系，得到多维特征。将GAT和GRU获得的特征向量连接起来，得到编码氨基酸残基的多维特征向量。

作者采用自定义特征编码方法，将氨基酸残基的理化性质直接编码到GAT的节点特征中。这包括使用诸如疏水性指数、电荷状态和分子量等参数作为输入特征，使模型在处理节点时能够考虑这些关键的生化信息。此外，对于注意力机制本身，作者修改了注意分数的计算，以整合这些生化特性。具体来说，作者采用了一种基于残基对相互作用强度预测的多头注意力机制，每个头部关注一种特定类型的物理化学相互作用（如疏水相互作用、氢键能力等），并对这些相互作用的影响进行加权。此外，作者调整了网络的超参数，如注意力层的数量、每层头的数量和学习率，以优化模型学习肽结构中复杂相互作用模式的能力。通过微调这些参数，作者提高了模型对特定生化环境的适应性，从而提高了预测精度和模型的可解释性。

GAT模型通过加权和聚合相邻节点的特征来获取信息。其注意力机制同时考虑相邻节点和中心节点的特征，计算每个相邻节点的重要性。多重注意头的应用使GAT能够捕获氨基酸残基之间的各种关系，而多层堆叠有助于学习这些残基之间更复杂的分层关系。

将图关注网络生成的氨基酸残基多维特征向量输入到基于A2C的强化学习生成框架中。在该框架中，行动者网络使用基于梯度的优化技术不断更新其策略，以优先考虑具有更高价值的行为。同时，该奖励机制整合了生物活性和ADMET特性优化，旨在指导最佳肽序列的生成。

A2C架构中的演员网络采用基于梯度的优化技术来不断更新策略参数。该过程的主要目标是调整策略，以优先考虑具有更高价值的行动，本质上确定替换哪些氨基酸残基片段以最大化预期的长期回报。通过迭代更新策略参数，演员网络逐渐学会在多肽设计中制定考虑与期望药物性质相关的长期奖励的策略，在探索和开发之间取得平衡。

在这个过程中，基于时间差（TD）误差的评论家网络对于估计当前状态的预期长期回报十分重要。为了保证肽序列生成的高质量，作者在评论家网络的强化学习奖励机制中增加了ADMET性质评估和分子对接，后者用于引入生物活性约束。ADMET对肽分子的评估包括基于计算机的物理化学、药代动力学、吸收、分布、代谢、排泄和毒性特性的预测。这些预测方法依赖于基于属性相关靶点的化学相似性和生物活性预测模型。所有ADMET相关参数的取值范围主要基于现有已发表药物的统计分布结果建立，并通过数据库的自我训练进一步细化。

为了评估化合物分子的ADMET特性，作者使用生物信息学工具ADMETLab 2.0进行预测。同时，从DrugBank数据库中提取公开可用的药物分子数据，并使用ADMETLab 2.0计算这些药物分子的关键ADMET性质。此外，根据这些药物分子的性质值绘制密度直方图，并统计确定每种性质的最佳范围值，以评估生成的分子的ADMET性质。在生物活性预测方面，使用化学信息学工具Ledock，综合考虑结合能和配体效率来评估生成的化合物分子的活性。最后，将统计结果得出的ADMET各特性的生物活性阈值和最佳范围纳入奖励机制，在分子生成过程中引导优化这些最佳范围，以生产出具有最佳特性的分子。

在成功生成分子的过程中，生物活性和ADMET性质都发挥着同等重要的作用。在此基础上，作者通过结合领域专家的建议和文献中报道的这些特性在药物开发中的重要性排名，初步分配了ADMET特性的权重。例如，较高的初始权重分配给吸收和毒性等关键特性，而较低的初始权重分配给不那么关键的特性。为了保证最优的模型性能，作者进行了多次迭代实验，比较了模型在不同权重组合下的性能。最终，确定了最佳权重分配如下：吸收A=25%，分布D=20%，代谢M=20%，排泄E=15%，毒性T=20%。关键是平衡各种性质，以确保药物具有良好的生物利用度，适当的组织分布，合理的代谢和排泄途径，以及最小的毒性。

通过在奖励函数中整合ADMET特性和与目标蛋白的对接分数，A2C强化学习算法可以同时优化多肽设计中的类药物特性和生物活性。该方法通过迭代更新A2C网络，有效地在肽序列和构象空间中导航，充分考虑与ADMET性质和靶标结合亲和力相关的长期奖励，从而确保药物性质的全面优化。

作者将RLP与一些具有代表性的方法进行了比较，如表1所示。为了评估该方法的有效性，使用有效性、新颖性、内部散度（Int-div）、骨架相似性（Scaf-sim）这四个指标，加粗的数字说明表现最好。RLP（在表1中标记为Ours）在四个指标中的两个上取得了最佳结果。

表1 与其他方法对比

作者设计了消融实验来验证模型设计的有效性。如表2所示，相比于只使用ADMET或生物活性的模型而言，结合ADMET特性和生物活性优化的模型显著提高了有效度，这种改善可能是由于生物活性确保了分子可以有效地与靶标相互作用，而ADMET特性确保了良好的吸收、分布、代谢和排泄特性，以及低体内毒性。这些因素的共同作用使分子的生成具有良好的体外和体内性能。此外，骨架相似度更为理想。这表明，同时考虑ADMET特性和生物活性优化使生成的分子更有可能具有已知的良好ADMET和生物活性特性的骨架。

表2 消融实验

作者还进行了案例分析。本研究使用Maestro（3.5版）进行了LigPrep对接实验。从最后10个轮次产生的肽结构经历了化学标准化。这包括模拟pH值范围-2.0至7.0的电离，以模拟生物系统中的酸性和碱性条件，同时脱盐和产生互变异构体，以确保肽分析代表它们在生物体中的真实状态。通过这些过程，保留了肽的特定手性，这对于理解它们与靶标的结合模式至关重要。随后，利用OPLS 2005力场对多肽进行优化，准确模拟了多肽的三维结构和电子分布。这为后续的对接实验提供了精确的初始模型。

在图2中，观察到最后10个轮次产生的肽与TIM-3具有很强的结合亲和力，结合能始终低于-8 kcal/mol。最有代表性的肽显示结合能为-9.79 kcal/mol，表明与TIM-3有潜在的强相互作用。这种增强的亲和力可能源于肽中特定残基的优化排列及其独特的空间构型，可以有效地与TIM-3结合位点相互作用。进一步分析发现，结合能最低的肽在TIM-3的结合口袋内形成了多个氢键和疏水相互作用，有助于稳定肽与蛋白质的结合。此外，肽的特定侧链可能参与额外的范德华相互作用或离子键，进一步增强其与TIM-3的结合。

图2 案例分析

在本文中，作者提出了一种基于图注意力机制的强化学习驱动的多肽生成模型RLP。该模型综合了图注意力机制的优点，有效地捕捉了多肽中氨基酸残基之间的连接结构。利用强化学习的优势指导最优序列搜索，以生物活性和ADMET性质优化为奖励机制，为多肽设计和优化提供了一种新的方法。本研究通过计算机辅助设计开发新型多肽药物，解决了传统药物研发成本高、效率低的问题。利用生物信息学算法提高药物设计的预测精度和合成可行性，旨在为临床前药物发现提供更高效、更低成本的替代解决方案。

尽管这项研究中取得了一定的成功，但仍然存在局限性。首先，数据集可能不能完全覆盖所有类型的肽，这可能会影响模型的泛化能力，使得该模型可能受到训练数据偏差的影响，从而导致潜在的预测偏差。其次，A2C强化学习框架的可解释性较弱，需要大量的计算资源，这可能会限制其适用性。为了克服这些限制，未来的研究可能会考虑采用数据增强技术来增强模型的鲁棒性。此外，通过多模态学习将二维和三维结构数据与生物活性信息相结合，可以丰富模型的输入。新的模型，如Transformer、扩散模型等，可以更好地适应肽的特性。应用可解释性技术（如SHAP、LIME）可以帮助理解模型的决策过程。这些努力有望为药物发现的未来发展铺平新的道路。

参考文献:

Wang et al. Reinforcement learning-driven exploration of peptide space: accelerating generation of drug-like peptides. Brief Bioinform. 2024