上下文多任务表示学习

paper：Dendritic modulation enables multitask representation learning in hierarchical sensory processing pathways

论文图表简介：

摘要：

虽然大脑中的感觉表征取决于上下文，但尚不清楚此类调制如何在生物物理层面实现，以及层次结构中更深层次的处理层如何为每种可能的上下文状态提取有用的特征。在这里，我们首先证明细树突分支非常适合实现前馈处理的上下文调制。这种特定于神经元的调制利用以稳定的前馈权重编码的先验知识来实现跨上下文的迁移学习。在具有独立于上下文的前馈权重的生物物理学现实神经元模型网络中，我们证明了对细树突的调制输入可以使用 Hebb 误差调制学习规则解决线性不可分学习问题。最后，我们证明了对表示是源自不同输入还是源自同一输入的不同上下文调制的局部预测会导致跨处理层的分层前馈权重的表示学习，以适应多种上下文。

介绍：

我们研究了生物物理学现实神经元网络中前馈处理的调制。通过评估有效的膜电导变化，我们发现 NMDA 尖峰更有可能调节神经元输入-输出 (IO) 关系。然后，我们研究了抽象前馈网络模型中神经元特定调制的计算特征，并表明这些调制允许没有特定任务读出组件的网络解决多个任务。我们发现确实可以学习从调制层提取有用信息的前馈权重，因为多任务性能随着网络深度的增加而增加。这反过来又允许网络通过仅适应调制突触来学习新任务，并启发我们思考是否存在前馈权重的无监督学习原则，这些原则通过神经元特定调制支持多任务学习。虽然抽象模型中的上下文调制是通过 通过对分类损失的梯度下降，我们表明我们的方法可以转化为生物学上真实的尖峰模型，该模型配备了用于上下文突触的 Hebb 误差调制学习规则。最后，我们展示了上下文调制表示通过为对比学习提供一种数据增强形式来促进跨处理层层次结构的自我监督学习，这种形式允许更深的处理层提取一般的高级特征，而无需错误 跨层反向传播。因此，这种调节不是复杂化，而是可以构成皮层学习的一个不可或缺的特征。

Multitask learning with task-dependent modulations to individual neurons

在大脑中，越来越多的证据表明自上而下的输入动态地从稳定的前馈连接中选择显着特征 。因此，我们测试了我们的具有神经元特定调制的框架是否能够有效地利用先验知识，这些知识编码在学习到的前馈权重中。我们在 47 个任务的子集上训练共享参数，并通过专门调整特定于任务的参数来学习其余任务。对于具有一个隐藏层的网络，我们发现所有方法都实现了相似的迁移学习。对于具有多个隐藏层的网络，我们的方法比具有特定任务读数的网络更好地转移到剩余任务（图 3F）。假设随着隐藏层的增加，网络越来越善于过滤掉与任务无关的信息，我们假设新任务的特定于任务的读数无法访问与原始任务无关的信息。相反，对早期层的特定神经元调制可以恢复此类信息，从而改进迁移学习。

阅读原文参考完整原论文。