首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    ICCV 2023 | AdaNIC:通过动态变换路由实现实用的神经图像压缩

    自动编码器的特定变体,即压缩自动编码器(CAE),已成为神经图像压缩中流行的架构选择。采用CAE学习图像信号的紧凑非线性表示取得了巨大成功,与现有的编解码器相比,产生了相当甚至更优的率失真性能。之前的研究工作已经证明,CAE的规模与图像质量或比特率高度相关。在这种情况下,经过充分研究的信道修剪方法可能适合复杂性缓解的需要。当使用信道修剪方法去除部分信道时,过度的信道修剪可能导致率失真性能严重下降。因此,静态的信道修剪方式可能不适合进一步的率失真复杂度优化。具体结果可见图1,对于三张不同的输入图像,直接将潜在变量的通道数由192裁剪为176。深色圆点代表了原始的率失真表现,浅色圆点代表裁剪后的率失真表现。可以看到,三张图像表现出了不同的下降趋势,但复杂度的降低是一致的。更进一步的,箭头代表不同图像块的率失真表现,可以发现,同一图像的不同图像块也会有不同的率失真下降趋势。因此,这种通道裁剪方法需要更细粒度的划分,而不仅仅是作用在整张图像上。此外,作者希望研究一种动态路由解决方案,以探索率失真和复杂度的联合优化。因为,在运行时使用内容自适应优化能实现最大的系统吞吐量。由于动态路由的作用空间被设计为样本或区域自适应,因此它可以无缝集成到其他可行的解决方案中,以加速神经非线性变换,从而产生静态轻量级模型,并通过联合优化提高其性能。这种动态路由方法在运行时做出编码决策,这类似于现代图像/视频编码标准通常采用的传统RDO过程或快速算法。这种运行时权衡可以带来更大的灵活性,从而通过定制行为实现更好的速率失真或复杂性权衡。

    01

    用户多兴趣建模MIND

    在工业界,一个完整的推荐系统中通常包括两个阶段,分别为召回阶段和排序阶段。在召回阶段,根据用户的兴趣从海量的商品中去检索出用户(User)可能感兴趣的候选商品( Item),满足推荐相关性和多样性需求。在排序阶段,根据不同的目标,如CTR,CVR,时长等对候选出的商品进行打分。目前,对于用户兴趣的建模,通常是从用户的历史行为中挖掘出用户兴趣,以当前的深度学习模型为例,通常是将User的历史行为数据embedding到一个固定长度的向量中,以此表示该用户的兴趣。然而在实际环境中,一个用户的兴趣通常是多样的,使用单一固定长度的embedding向量难以刻画用户兴趣的多样性。Multi-Interest Network with Dynamic routing[1](MIND)用户多兴趣建模网络取代了原先的单一固定长度embedding向量,取而代之的是用户的多兴趣向量。在MIND中,主要的创新点在于:

    02

    用户多兴趣建模MIND

    在工业界,一个完整的推荐系统中通常包括两个阶段,分别为召回阶段和排序阶段。在召回阶段,根据用户的兴趣从海量的商品中去检索出用户(User)可能感兴趣的候选商品( Item),满足推荐相关性和多样性需求。在排序阶段,根据不同的目标,如CTR,CVR,时长等对候选出的商品进行打分。目前,对于用户兴趣的建模,通常是从用户的历史行为中挖掘出用户兴趣,以当前的深度学习模型为例,通常是将User的历史行为数据embedding到一个固定长度的向量中,以此表示该用户的兴趣。然而在实际环境中,一个用户的兴趣通常是多样的,使用单一固定长度的embedding向量难以刻画用户兴趣的多样性。Multi-Interest Network with Dynamic routing[1](MIND)用户多兴趣建模网络取代了原先的单一固定长度embedding向量,取而代之的是用户的多兴趣向量。在MIND中,主要的创新点在于:

    00
    领券