众所周知，前两天刷爆程序员朋友圈的思否网站无法访问问题被放大了 N 倍。按说，思否的架构师也是非常厉害的大牛，但是在关键词屏蔽功能上偷了懒，也很可能当初就没设计过这个功能，给遗漏了。
「Key insight:」 虽然预训练BERT已经广泛地运用到了各种下游的NLP任务上，但在文本语义相似度计算任务上，未经微调的BERT句向量的质量常常不如GloVe句向量。针对这个问题，作者首先分析了BERT句向量分布的性质，然后利用标准化流无监督地将BERT句向量的分布变换成更规整的高斯分布，实验结果表明作者提出的BERT-flow在多项任务上取得了SOTA表现。
文本是由多种词性的字词通过系统的语法规则组成而成的 具有上下文语义的字词串。根据文本的定义，我们可以将文本的相似度分为两种：一，是文本包含字词的相似度；二，是文本内含语义的相似度。
这个时候如果想对用户输入做一些过滤、对某种回答有了固定的答案怎么办呢？java程序员肯定就会想到写个filter或者intercepter，RAG就是在做类似的事情，只不过流程更加复杂。
最近在知乎上看到这样一个问题：基于对比学习(Contrastive Learning)的文本表示模型为什么能学到语义相似度？
大家好，这篇文章想跟大家讨论一下语义匹配的应用场景。实际上无论是NLP的哪个技术，我认为接触场景，思考这个技术跟具体场景是怎么结合的？这技术有哪些场景能应用？是非常重要的。一个资深的算法工程师应该能结合场景和技术，给出最佳的解决方案。
自然语言处理（Natural Language Processing，NLP）是一种人工智能技术，旨在使计算机能够理解、解释和生成自然语言。语义理解是NLP的一个重要领域，它涉及到从文本数据中提取意义和信息的过程。本文将详细介绍自然语言处理的语义理解。
Sematch是一个用于知识图谱的语义相似性的开发、评价和应用的集成框架，其代码见github。 Sematch支持对概念、词和实体的语义相似度的计算，并给出得分。 Sematch专注于基于特定知识的语义相似度量，它依赖于分类( 比如 ) 中的结构化知识。 深度、路径长度 ) 和统计信息内容( 语料库与语义图谱) 。
On the Sentence Embeddings from Pre-trained Language Models 阅读笔记
摘要 我们提出一种新型向量表示法，将词汇对比法与分布式向量相结合，增强用于确定词汇相似度的最凸显的特征。在性能方面，这些经过调整的向量表示法在很大程度上超过了标准的向量模型，实现了跨词类（形容词，名字，动词）区分反义词与同义词这两种语义关系，平均精确度达到0.66-0.76。此外，我们把词汇对比向量整合入基于skip-gram模型的目标函数中。该新型向量表示法在运用SimLex-999预测词汇相似度与区分反-同义词两个方面均优于state-of-the-art模型。 1. 引言 反义词与同义词，作为两种
昨日，CoNLL 公布了最佳论文，由来自西班牙巴斯克大学 IXA NLP 组的 Mikel Artetxe 等人获得。该论文展示了词嵌入模型能够捕获不同层面的信息（如语义/句法和相似度/相关度），为如何编码不同的语言信息提供了新的视角，该研究还研究了内外部评估之间的关系。
语义分析，运用的范围相当广，例如可以通过一定语义算法科学地抽取文档的主题，可以发现文章中的重点词汇、研究文本的感情色彩等。本案例用Excel来做文档的语义分析。
每天给你送来NLP技术干货！ ---- ©作者 | 崔文谦 单位 | 北京邮电大学 研究方向 | 医学自然语言处理 编辑 | PaperWeekly 本文旨在帮大家快速了解文本语义相似度领域的研究脉络和进展，其中包含了本人总结的文本语义相似度任务的处理步骤，文本相似度模型发展历程，相关数据集，以及重要论文分享。 文本相似度任务处理步骤 通过该领域的大量论文阅读，我认为处理文本相似度任务时可以分为一下三个步骤： 预处理：如数据清洗等。此步骤旨在对文本做一些规范化操作，筛选有用特征，去除噪音。 文本表示：
非负矩阵分解（non-negative matrix factorization，NMF）是另一种矩阵的因子分解方法，其特点是分解的矩阵非负。非负矩阵分解也可以用于话题分析。
机器之心专栏 作者：百度NLP 本期百度NLP 专栏介绍了百度开源的中文主题模型应用工具包 Familia。在本文中，作者结合 Familia 汇总主题模型在工业界的一些典型应用案例，方便开发者按图索骥，找到适合自己任务的模型以及该模型的应用方式。 主题模型是文本挖掘的重要工具，近年来在学术界和工业界都获得了非常多的关注。虽然学术界的研究人员提出了多种多样的主题模型来适应不同的场景，这些工作主要集中在「建模」层面，即设计合理的模型来适配各色各样的数据，而指导主题模型在工业场景「落地」的资源和文
《研究中文文本相似度能解决很多NLP领域文本相关的问题》通过分析中文相似度的计算方式以及在各个应用场景中的使用情况，指出了中文相似度在自然语言处理中的重要性以及其在信息检索、自动问答、机器翻译、自动文摘等场景中的应用。
问题句子相似度计算，即给定客服里用户描述的两句话，用算法来判断是否表示了相同的语义。 项目地址：https://github.com/yanqiangmiffy/sentence-similarity
文本匹配是自然语言理解中的一个核心问题，它可以应用于大量的自然语言处理任务中，例如信息检索、问答系统、复述问题、对话系统、机器翻译等等。这些自然语言处理任务在很大程度上都可以抽象成文本匹配问题，比如信息检索可以归结为搜索词和文档资源的匹配，问答系统可以归结为问题和候选答案的匹配，复述问题可以归结为两个同义句的匹配，对话系统可以归结为前一句对话和回复的匹配，机器翻译则可以归结为两种语言的匹配。
最近基于神经网络的自然语言理解的研究的迅速发展，尤其是关于学习文本语义表示的研究，使一些十分新奇的产品得到了实现，比如智能写作与可对话书籍。这些研究还可以提高许多只有有限的训练数据的自然语言处理任务的效果，比如只利用 100 个标注的数据搭建一个可靠的文本分类器。
本文为雷锋字幕组编译的技术博客，原标题 Advances in Semantic Textual Similarity。
如果一张图片可以用一千个单词描述，那么图片中所能被描绘的对象之间便有如此多的细节和关系。我们可以描述狗皮毛的质地，要被追逐的飞盘上的商标，刚刚扔过飞盘的人脸上的表情，等等。
所谓语义匹配，就是在语义上衡量文本的相似度，在产业界有很多的应用需求。例如，在FAQ场景中需要计算用户输入与标问之间的相似度来寻找合适的答案。本文介绍一种经典的语义匹配技术，DSSM，主要用于语料的召回和粗排。
本文介绍了LSF-SCNN模型在短文本分类和答案选择问题上的应用。首先，作者介绍了模型的基本原理和结构，然后详细阐述了模型在两个数据集上的实验结果。实验结果表明，模型在两个数据集上均获得了较高的准确率，在答案选择问题上表现尤为突出。
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx Chinese NLP Toolkits 中文NLP工具 Toolkits 综合NLP工具包 THULAC 中文词法分析工具包 by 清华 (C++/Java/Python) NLPIR by 中科院 (Java) LTP 语言技术平台 by 哈工大 (C++) pylyp LTP的python封装 FudanNLP by 复旦 (Java) BaiduLac by 百度 Baidu's open-source lexi
如何无监督地训练一个神经检索模型是当前IR社区的研究热点之一，在今天我们分享的论文中，OpenAI团队尝试在大规模无监督数据上对GPT系列模型做对比预训练(Contrastive Pre-Training)，得到的 CPT-text模型 在文本匹配、语义搜索等任务上取得了优异的zero-shot性能。
于小文是一个普通程序员，业余的时候会出于做一些自己的网站，最近他做了一个问答社区，就是大家有什么问题都可以在上面问，然后也会有热心网友来解答的网站。
自然语言处理的终极目标是让计算机理解人类所使用的语言。但是由于人类语言的多样性，语义的多样性等原因使得这一目标复杂度极高，目前还无法直接建模和解决。
最近好久没有写文章了，上一篇文章还是九月十一的时候写的，距今已经两个月了，期间一直在忙一些工作上的事情，今天终于有点空闲，所以写一篇文章散散心。
文本相似度是指衡量两个文本的相似程度，相似程度的评价有很多角度：单纯的字面相似度（例如：我和他 v.s. 我和她），语义的相似度（例如：爸爸 v.s. 父亲）和风格的相似度（例如：我喜欢你 v.s. 我好喜欢你耶）等等。
尽管自然语言处理（Natural Language Processing ,NLP）技术在文本分类、情感分析、机器翻译等任务上取得了显著进展，但文本对抗样本的出现为这一领域带来了新的挑战。经过攻击者精心设计的微小扰动，文本对抗样本能够使高准确率的模型出现预测错误，进而揭示了NLP模型的脆弱性。如图1所示，替换字符可以改变模型对句子情感倾向的判断。
本文介绍的是 ACL 2020 论文《Learning Robust Models for e-Commerce Product Search》，论文作者来自爱荷华州立大学、亚马逊。
自然语言处理技术的研究，可以丰富计算机知识处理的研究内容，推动人工智能技术的发展。
本文的核心是句子相似度的计算，可以使用TF-IDF和word2vec两种方法对问句进行向量化，并在此基础上使用进行句子相似度的计算。
目前大模型应用中，RAG（Retrieval Augmented Generation，检索增强生成）是一种在对话（QA）场景下最主要的应用形式，它主要解决大模型的知识存储和更新问题。
BERT和RoBERTa在文本语义相似度等句子对的回归任务上，已经达到了SOTA的结果。但是，它们都需要把两个句子同时喂到网络中，这样会导致巨大的计算开销：从10000个句子中找出最相似的句子对，大概需要5000万(C100002=49,995,000)个推理计算，在V100GPU上耗时约65个小时。这种结构使得BERT不适合语义相似度搜索，同样也不适合无监督任务（例如：聚类）。
你有尝试从 BERT 提取编码后的 sentence embedding 吗？很多小伙伴的第一反应是：不就是直接取顶层的[CLS] token的embedding作为句子表示嘛，难道还有其他套路不成？
本篇介绍聊天机器人中出现的比较早的一种：问答系统。问答系统跟检索技术很相似，基本的功能就是，用户可以向系统咨询信息，系统通过“检索”，向用户返回精准、有效的信息。所以，常常有人说，问答系统是搜索引擎的最终形态。
工业界的很多应用都有在语义上衡量本文相似度的需求，直接目标就是判断两句话是否表达了相同或相似意思，我们将这类需求统称为“语义匹配”，nlp中的许多任务都可以抽象为语义匹配任务。语义匹配的相关应用场景主要有搜索引擎、问答系统、推荐系统、文本去重等，主要是为了找到与目标文本最相关的文本，比如在问答系统中找到和问题最相关的答案，在搜索引擎中找到与搜索框中关键词最相关的网页等。
作者：李加贝 (浙江工商大学) 方向：跨模态搜索 标题：A Contrastive Framework for Learning Sentence Representations from Pairwise and Triple-wise Perspective in Angular Space -- ACL2022 链接：https://aclanthology.org/2022.acl-long.336v2.pdf 虽然bert等预训练语言模型取得了巨大的成功，但直接使用它们的句子表征往往会导致在语义
导读：飞桨PaddlePaddle致力于让深度学习技术的创新与应用更简单。飞桨开源的百度自研SimNet-BOW-Pairwise语义匹配模型，在真实的FAQ问答场景中，比其他基于字面的相似度方法AUC提升了5%以上。在公开语义匹配数据集（LCQMC）进行评测准确率也达到了0.7532，性能超越同等复杂的CBOW基线模型。SimNet 显著改善了长冷 query 的搜索效果，提升了搜索智能化的水平，在百度搜索以及其它产品线广泛应用。
微软研究院在IJCAI2016的Tutorial上讲述了自己将深度学习、深度神经网络应用于不同场景的情况，之前第二部分提到了深度学习在统计机器翻译和会话中的应用，第三部分是选中自然语言处理任务的连续表
通过将复杂的对象（例如文本、图像或声音）转换为数值向量，并在多维空间中进行相似性搜索，它能够实现高效的查询匹配和推荐。
“噢我的上帝，比尔你再这样，我可要踢你的屁股了。” 如果你看过译制片，一定知道尴尬的翻译难免会让人出戏。 世界上有不同的文化，为了实现更好的沟通，学习对方的语言是个讨巧的捷径，但在面对强大的中文时，歪果仁也很是令咱们熏疼…… 把“美”字标记成两个“¥”： “奥”字被理解成了一个举刀向前的战士： “哭”字被非常写意地标记为一只流泪的狗…… 图片来自@央视新闻 微博 人类理解中文尚且如此，机器就更“惨不忍睹”。当你满怀欣喜地下了新游戏，本想用“唠嗑药别停”这个昵称注册的时候却被告知不允许使用，因为包
欢迎来到《每周NLP论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。
文章主要讲述了如何通过自然语言处理技术，如词向量、文本分类、情感分析等，来对文本进行相似性分析。同时，文章也介绍了一些具体的应用场景，如搜索引擎、文本分类、情感分析等。
论文：Learning Pixel-level Semantic Affinity with Image-level Supervision for Weakly Supervised Semantic Segmentation
本文介绍了四款流行的中文主题建模工具，它们分别是LDA，LSI，LSA和CopulaLDA。文章主要从原理，实现方法和应用场景等方面进行了详细的介绍。同时，文章还探讨了这四款工具在处理大数据集和高维稀疏数据时的优缺点。通过实验，作者比较了这四款工具在文本主题建模方面的性能，并总结了各种工具在实际应用中的适用场景。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
