任务调控“收放自如” 几何率失真不变性算法可实现AI精准跨域判别

科研快讯

深度学习模型在训练数据与测试数据分布一致时性能卓越，但在脑机接口、医学影像等实际应用中，会受到受试者个体差异、采集设备与临床环境变化等因素影响，使得数据分布发生偏移，导致模型性能大幅下降。

学界近年来发展了一系列领域泛化算法。然而，主流方法大多聚焦于匹配不同域之间的边缘分布或梯度统计量，在有限样本下易导致对齐失稳甚至坍缩。

就在近日，中国科学院过程工程研究所科研团队将信息论中的率失真理论推广到Grassmann流形，提出了几何率失真不变性（RDI）算法。

RDI几何率失真不变性框架的结构设计及跨域泛化应用示意图。图片来自：中国科学院过程工程研究所

RDI算法利用深度学习特征在实际分布中的低维几何结构，构建起强判别力的分类依据。不同来源数据中，同一类别的特征方向趋于一致以消除域间偏差，同时控制每个类别特征分布的“体积”，防止其过度坍缩，保留类别间的判别差异。通过与分类任务的联合训练，模型可在保持分类精度的同时，缩小不同来源数据之间的几何差异。

研究表明，面对类别较少场景时，模型会主动扩展有效特征维度以防止信息坍缩；而面对类别繁多的复杂场景，模型能自动压缩冗余信息以提升紧凑性。

在DomainBed标准测试集上，RDI算法的平均准确率超越了现有主流不变性学习方法，且在CNN与ViT等不同架构上均表现稳健。研究人员表示，该方法将有效解决深度学习模型在跨域数据场景下，判别性能骤降的难题，为深度学习模型的跨域泛化问题，提供新的理论视角与解决方案。

来源：中国科学院过程工程研究所