腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

【问答对话】kbqa？开放域问答怎么有知识地生成

问答是对话的重要任务之一，封闭的垂直领域可以构建问题库，通过检索召回、排序的方式回答，然而到了开放域，怎么既利用外部知识，又能够应对多样的问题，前有kbqa，利用结构化的知识库和语义链接，然而这是最优的么而最近流行的大模型，如GPT-3也在开放域问答上有一定的能力，那么如何在大的语言模型基础上融合知识呢，其实主要面临两个问题，1）检索什么知识，怎么检索。2）怎么讲检索知识加入。在DPR基础上， RAG通过利用DPRetriever+BART来做问答，它能够用到预训练的语言模型（BART）和非参数memory（检索知识的dense vector）来生成。 EACL, Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering大模型能够在开发域的知识问答取得不错效果本文通过检索方式引入文本知识（可能包含潜在的有用信息），取得了问答的SOTA。

2022-09-06

1.6K0

标签:

Facebook刷新开放域问答SOTA：模型训模型！Reader当Teacher！

陈丹琦的DrQA[2]可以说是利用深度学习解决开放域问答的开山鼻祖了。我们也暂且将目光聚焦在这类开放域问答任务：基于一个巨大的文本库（例如维基百科）建立自动回答知识型问题的系统。今天，我们来看一篇开放域问答系统的最新SOTA。 Facebook在这篇paper中提出：在开放域问答中，阅读理解模型的注意力权重可以提供更好的检索模型训练信号，该方法刷新了开放域问答系统的SOTA，同时在EffcientQA榜单上刷新了6GB量级模型的记录最开始，DrQA[2]将基于TF-IDF的词频算法用作检索模型，与当时的SOTA阅读模型结合，得到了开放域问答系统的雏形。总结本文利用生成式阅读器中的注意力权重作为相似度信息训练检索模型，刷新了开放域问答系统的SOTA。该方法简单有效地解决了开放域问答系统中训练检索模型缺乏标注数据的问题，为研究者们提供了新思路。

2021-02-24

1.4K0

标签:

文本检索、开放域问答与Dense Passage Retrieval (EMNLP-20)

of Washington, Princeton University 链接：https://readpaper.com/paper/3099700870 一句话总结：一个很好的文本检索（IR）、问答开放域问答一般分两步——检索和阅读理解，本文提出的DPR是一个高效的基于语义匹配的检索模型，从而提高整体QA的效果，该思路对后续的对比学习的一系列工作都有启发。 Open-domain question answering (QA) QA可以分为Close-domain QA和Open-domain QA，前者一般限制在某个特定领域，有一个给定的该领域的知识库，比如医院里的问答机器人实验设置&数据集 Knowledge Source 知识库，就是我们open-domain QA使用什么语料库来进行问答。本文选用Wikipedia，这也是最常用的设定。

2022-03-28

3.1K0

标签:

Facebook开源问答系统DrQA：基于单一信源回答开放域提问

DrQA是一个开放域问答系统。关于DrQA，Facebook还发表了一篇论文《Reading Wikipedia to Answer Open-Domain Questions（阅读维基百科来回答开放域问题）》。 △ DrQA系统架构这篇论文提出使用维基百科作为唯一的知识来源，以解决开放域问答。任何事实性提问的答案，都是来自维基百科中的内容。开源代码 Facebook已经把DrQA问答系统的PyTorch实现公布在GitHub上。另外，Facebook还提供了预训练的模型，以及维基百科问答数据。这部分内容大小为7.5GB，解压之后约为25GB大小。

2018-03-28

1.4K0

标签:

DrQA基于维基百科数据的开放域问答机器人实战教程

作者 | fendouai 编辑 | 磐石【磐创AI导读】：本文主要向大家推荐一个开放域问答机器人的实战项目。欢迎大家点击上方蓝字关注我们的公众号：磐创AI。 DrQA 是一个基于维基百科数据的开放域问答系统，它由检索器和阅读器组成。其中检索器用于从海量的文本（例如维基百科）中获得相关的文章；阅读器用于从文章中获得相应的答案。一 . 官方介绍 DrQA是一个应用于开放域问答的阅读理解系统。特别是，DrQA的目标是“大规模机读”（MRS）。在这个设定中，我们在可能非常大的非结构化文档集中搜索问题的答案。

2018-08-03

9850

标签:

SRE-面试问答模拟-开放问答话题

SRE（Site Reliability Engineering）和可观测性是运维工作中的关键理念，这些问题涵盖了不同层次的运维实践和理念。以下是对部分问题的简要回答：

2024-09-07

7650

标签:

【ACL 2021】开放域对话结构发现

然而，当前在开放域对话下，这一问题仍然缺乏研究。在本文中，我们从聊天语料库中无监督地学习离散对话结构，然后利用该结构来促进连贯的对话生成。进一步的，我们在两个基准语料库上进行实验，结果表明DVAE-GNN能够发现有意义的对话结构图，且使用对话结构作为背景知识可以显著提高开放域对话的多轮连贯性。 2. 方法本文首先设计了一个自监督的对话结构图发现模型；进一步地，本文设计基于对话结构图的开放域多轮对话模型用于验证所发现结构的有效性。在这项工作中，因为之前很少有关于自监督开放域对话图发现的研究，本文选择任务完成对话下的DVRNN【3】模型作为基线。DVRNN是在面向任务的对话中发现对话图的当前最好方法。

2021-08-12

1.1K0

标签:

开放域信息抽取最新动向

开放域信息抽取是信息抽取任务的另一个分支任务，其中抽取的谓语和实体并不是特定的领域，也并没有提前定义好实体类别。更一般的，开放域信息抽取的目的是抽取出所有输入的文本中的形如 <主语，谓语，宾语> 的三元组。开放域信息抽取对于知识的构建至关重要，可以减少人工标注的成本和时间。本次Fudan DISC实验室将分享EMNLP2020中关于开放域信息抽取和文本知识结构化的3篇论文，介绍最新的开放域信息抽取的研究。文章概览关于开放域信息抽取神经网络结构和训练方式的系统比较 (Systematic Comparison of Neural Architectures and Training Approaches 任务定义现有的OpenIE的任务定义主要分为两种：1）序列标注、2）子序列提取其中序列标注框架最为常见，下图为用序列标注任务设定的开放域信息抽取。例子中一共有7类标签 ?

2021-04-25

2.9K0

开放问答 | 「国立台湾大学」提出ConvADR-QA框架大幅提升问答效果（含源码）

引言开放式对话问答可以被视为两种任务：段落检索和对话问答，前者依赖于从大型语料库中选择候选段落，后者需要更好地理解问题的上下文来给出答案。针对开放式问答，本文提出ConvADR-QA框架方法，即利用历史答案提高检索性能，从而提升问答效果。在基准数据集OR-QuAC上的实验结果表明，在检索和问答生成阶段下都优于现有的基线模型。为了解决这一问题，研究人员将CQA方案扩展到开放域，其中包含答案信息的文档必须从一个大型候选池中检索。在开放域场景中，通常有数百万个候选文档，使得传统的联合编码查询和文档的方法不可用。 ConvADR-QA框架方法图片开放域CQA的难点在于当前问题通常需要之前对话的上下文信息，这使得系统比开放域QA任务更难捕获潜在的信息。「之前关于开放域对话检索的工作着重将当前问题和历史问题连在一起而并没有将问题答案考虑进来」。本文则指出，历史答案也可以为当前问题提供重要的信息输入来获得答案。

2022-12-06

6420

标签:

DynamiCrafter: 利用扩散先验的开放域图片动画化

训练细节 Evaluation 定量实验定性分析消融实验双路图片注入训练策略文字指导运动控制的讨论其他应用贡献点通过利用视频扩散先验，为开放领域图像的动画化引入了一种新方法，显著优于现有的方法首次研究了基于文本的运动控制用于开放领域图像动画化，并展示了概念验证。

2024-05-11

1.3K0

标签: