首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    ​AdaRound:训练后量化的自适应舍入

    在对神经网络进行量化时,主要方法是将每个浮点权重分配给其最接近的定点值。本文发现,这不是最佳的量化策略。本文提出了 AdaRound,一种用于训练后量化的更好的权重舍入机制,它可以适应数据和任务损失。AdaRound 速度很快,不需要对网络进行微调,仅需要少量未标记的数据。本文首先从理论上分析预训练神经网络的舍入问题。通过用泰勒级数展开来逼近任务损失,舍入任务被视为二次无约束二值优化问简化为逐层局部损失,并建议通过软松弛来优化此损失。AdaRound 不仅比舍入取整有显著的提升,而且还为几种网络和任务上的训练后量化建立了新的最新技术。无需进行微调,本文就可以将 Resnet18 和 Resnet50 的权重量化为 4 位,同时保持 1% 的精度损失。

    01

    实现机器人的系统1和系统2 Slow and fast

    处理多步骤任务时总是存在权衡。高级认知过程可以在不确定的环境中找到实现目标的最佳行动序列,但它们很慢并且需要大量的计算需求。相反,较低级别的处理允许对环境刺激做出快速反应,但确定最佳行动的能力有限。通过重复相同的任务,生物有机体找到了最佳的权衡:从原始运动开始通过创建特定于任务的神经结构,组合低级结构然后逐渐出现高级复合动作。最近被称为“主动推理”理论框架可以捕获人类行为的高级和低级过程,但任务专业化如何在这些过程中发生仍不清楚。在这里,我们比较了拾放任务的两种分层策略:具有规划功能的离散连续模型和具有固定转换的仅连续模型。我们分析了定义内在和外在领域运动的几个后果。最后,我们提出如何将离散动作编码为连续表示,将它们与不同的运动学习阶段进行比较,并为进一步研究仿生任务适应奠定基础。

    01
    领券