首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

WSDM'23 | CL4CTR:用于CTR预测的对比学习框架

现有点击率建模忽略了特征表征学习的重要性,例如,为每个特征采用简单的embedding层,这导致了次优的特征表征,从而降低了CTR预测性能。例如,在许多CTR任务中占大多数特征的低频特征在标准监督学习设置中较少被考虑,导致次优特征表示。本文引入了自监督学习来直接生成高质量的特征表征,并提出了一个模型不可知的CTR对比学习(CL4CTR)框架,该框架由三个自监督学习信号组成,以规范特征表征学习:对比损失、特征对齐和域一致性。对比模块首先通过数据增强构造正特征对,然后通过对比损失最小化每个正特征对的表征之间的距离。特征对齐约束迫使来自同一域的特征的表征接近,而域一致性约束迫使来自不同域的特征表征远离。

03
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    为AI配备目标;强化学习是最低的智能行为,昆虫和哺乳动物在第几层?

    理论生物学的最新进展表明,基础认知和感知行为是体外细胞培养和神经元网络的自然属性,respectively.这种神经元网络在大脑中自发地学习结构化行为在没有奖励或加强情况下。在这篇文章中,我们通过自由能原理的透镜来描述这种self-organisation,即不证自明的。我们要做到这一点,首先要基于主动推理的设置,definitions of reactive and sentient behaviour,模拟他们的行动的consequences。然后我们引入了一种对有意行为的正式解释,它将代理描述为由潜在状态空间中的首选端点或目标驱动。然后,我们研究这些形式的(反应性的、有感觉的和有意的(reactive, sentient, and intentional)行为模拟。首先,我们模拟上述体外实验,其中神经元培养通过实现嵌套的、自由能的最小化过程,自发地学习玩乒乓。然后模拟被用来解构随之而来的预测行为——区分仅仅是反应性的、有感觉的和有意的行为,后者以归纳计划的形式出现。这使用简单的机器学习基准进一步研究区别(导航一个网格世界和汉诺塔问题),这显示了如何快速有效地适应性行为是在主动推理的归纳形式下出现的。

    01

    Yahoo! 十三条 : 前端网页优化(13+1)条原则

    据统计,有80%的最终用户响应时间是花在前端程序上,而其大部分时间则花在各种页面元素,如图像、样式表、脚本和Flash等的下载上,减少页面元素将会减少HTTP请求次数,这是快速显示页面的关键所在。 CSS Sprites方法可以组合页面中的图片到单个文件中,并使用CSS的background-image和background-position属性来现实所需的部分图片。 Inline images使用data:URL scheme在页面中内嵌图片,这将增大HTML文件的大小,组合inline images到用户的(缓存)样式表既能较少HTTP请求,又能避免加大HTML文件大小。 Combined files通过组合多个脚本文件到单一文件来减少HTTP请求次数,样式表也可采用类似方法处理,这个方法虽然简单,但没有得到大规模的使用。当页面之间脚本和样式表变化很大时,该方式将遇到很大的挑战,但如果做到的话,将能加快响应时间。

    03

    Nat. Mach. Intell. | MolCLR:一个用于分子表征学习的自监督框架

    今天介绍的是卡内基梅隆大学化学工程系的Amir Barati Farimani 教授最新发表在 Nature Machine Intelligence上的文章 ”Molecular contrastive learning of representations via graph neural networks”. 该文提出一种自监督的图神经网络框架MolCLR,利用大量无监督的标签进行自监督学习,有效缓解了因为数据标记有限而阻碍将分子机器学习推广到巨大的化学空间的难题。同时,本文提出了三种全新的分子图的增强方法:原子屏蔽、键删除以及子图删除,所提的分子图增强方法保证了增强时同一分子的一致性最大化以及不同分子一致性的最小化。实验表明,MolCLR 大大改善了 GNN 在各种分子特性基准上的表现。

    04
    领券