首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    每日论文速递 | NLP大佬们联合发文,倡导使用检索增强模型RA-LMs

    摘要:参数化语言模型(LMs)通过在大量网络数据上进行训练,展现出了显著的灵活性和能力。然而,它们仍然面临着诸如幻觉、难以适应新数据分布以及缺乏可验证性等实际挑战。在这篇立场论文中,我们主张将检索增强型LMs作为下一代LMs取代参数化LMs。通过在推理过程中结合大规模数据存储,检索增强型LMs可以更加可靠、适应性强,并且具有可归因性。尽管具有潜力,但检索增强型LMs由于几个障碍尚未被广泛采用:具体来说,当前的检索增强型LMs在超出知识密集型任务(如问答)的文本利用方面遇到困难,检索和LM组件之间的互动有限,缺乏用于扩展的基础设施。为了解决这些问题,我们提出了开发通用检索增强型LMs的路线图。这涉及重新考虑数据存储和检索器,探索具有改进的检索器-LM交互的流水线,并且在高效训练和推理的基础设施上进行重大投资。

    01

    每日论文速递 | 语言模型的最优学习

    摘要:这项工作研究了改善语言模型(LM)学习的一般原则,旨在减少必要的训练步骤,以实现卓越的性能。具体来说,我们提出了一个理论的LM的最佳学习。我们首先提出了一个目标,通过最大限度地提高数据压缩比,在“LM训练无损压缩”视图中优化LM学习。然后,我们推导出一个定理,命名为学习律,以揭示在我们的目标下的最优学习过程中的动力学性质。然后通过线性分类和真实世界语言建模任务的实验验证了该定理。最后,我们的经验验证,最佳学习的LM本质上源于改进的系数的缩放律的LM,表明很大的承诺和意义,设计实用的学习加速方法。我们的代码可以在https://aka.ms/LearningLaw上找到。

    01

    【论文解读】针对生成任务的多模态图学习

    多模态学习结合了多种数据模式,拓宽了模型可以利用的数据的类型和复杂性:例如,从纯文本到图像映射对。大多数多模态学习算法专注于建模来自两种模式的简单的一对一数据对,如图像-标题对,或音频文本对。然而,在大多数现实世界中,不同模式的实体以更复杂和多方面的方式相互作用,超越了一对一的映射。论文建议将这些复杂的关系表示为图,允许论文捕获任意数量模式的数据,并使用模式之间的复杂关系,这些关系可以在不同样本之间灵活变化。为了实现这一目标,论文提出了多模态图学习(MMGL),这是一个通用而又系统的、系统的框架,用于从多个具有关系结构的多模态邻域中捕获信息。特别是,论文关注用于生成任务的MMGL,建立在预先训练的语言模型(LMs)的基础上,旨在通过多模态邻域上下文来增强它们的文本生成。

    02

    基于大型语言模型的文本属性图特征

    今天为大家介绍的是来自Bryan Hooi团队的一篇论文。近年来,文本属性图(TAGs)上的表示学习已成为一个关键的研究问题。一个典型的TAG例子是论文引用图,其中每篇论文的文本作为节点属性。大多数图神经网络(GNN)流程通过将这些文本属性转换成浅层或手工制作的特征来处理。近期的努力集中在使用语言模型增强这些流程。随着强大的大型语言模型(LLMs)如GPT的出现,这些模型展现了推理能力和利用通用知识的能力,因此需要技术将LLMs的文本建模能力与GNNs的结构学习能力结合起来。在这项工作中,作者专注于利用LLMs捕获文本信息作为特征,这些特征可以用来提升GNN在下游任务上的表现。

    01
    领券