首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

从香农熵到手推KL散度:一文带你纵览机器学习中的信息论

IT派 - {技术青年圈} 持续关注互联网、大数据、人工智能领域 信息论是应用数学的一个分支,主要研究的是对一个信号包含信息的多少进行量化。它最初被发明是用来研究在一个含有噪声的信道上用离散的字母表来发送消息,例如通过无线电传输来通信。而本文主要探讨信息熵在 AI 或机器学习中的应用,一般在机器学习中,我们可以将信息论应用在连续型变量上,并使用信息论的一些关键思想来描述概率分布或者量化概率分布之间的相似性。 因此在机器学习中,通常要把与随机事件相关信息的期望值进行量化,此外还要量化不同概率分布之间的相似性

08

Chemical Science | SDEGen:基于随机微分方程的构象生成模型

本文介绍一篇来自浙江大学侯廷军教授、康玉副教授和碳硅智慧联合发表在Chemical Science的论文《SDEGen: Learning to Evolve Molecular Conformations from Thermodynamic Noise for Conformation Generation》。该论文提出了一种将分子力学当中的随机动力学系统和深度学习当中的概率模型相结合的小分子三维构象生成模型:SDEGen。作者采用随机微分方程(Stochastic Differential Equation, SDE)模拟分子构象从热噪声分布到热平衡分布的过程,联合概率深度学习的最新DDIM(Denoising Diffusion Implicit Models)模型,不仅提高了模型生成构象的效率,并且在多项评测任务(包括构象生成质量、原子间距离分布和构象簇的热力学性质)上实现了精度的提升。如在构象生成质量上,其多样性指标优于传统方法22%,准确性指标优于传统方法40%;在热力学性质预测方面,将传统方法的精度提升了一个数量级,与量化计算的结果误差缩小至~2kJ/mol。除此之外,这篇文章还引入了晶体构象的比对实验和势能面分布实验,为构象生成任务的评测提供了更多维及更物理的视角。大量的实验表明,SDEGen不仅可以搜索到小分子晶体构象所在的势能面的势阱当中,还可以搜索到完整势能面上多个局域优势构象。同时,SDEGen模型计算效率极高,在分子对接、药效团识别、定量构效关系等药物设计任务中具有广泛的应用前景。

03
领券