基于正则表达式搜索跨度的美汤 - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

美团外卖搜索基于Elasticsearch的优化实践

总第544篇 2022年第061篇美团外卖搜索工程团队在Elasticsearch的优化实践中，基于Location-Based Service（LBS）业务场景对Elasticsearch的查询性能进行优化...美团在外卖搜索业务场景中大规模地使用了 Elasticsearch 作为底层检索引擎。其在过去几年很好地支持了外卖每天十亿以上的检索流量。...因此在早期时，这一套架构和检索 DSL 可以很好地支持美团的搜索业务——耗时和资源开销尚在接受范围内。...4.3 基于 RLE 的倒排格式设计基于以上的背景知识以及当前 Elasticsearch/Lucene 的解决方案，可以明确目前有 2 个改造点需要考虑。...作者简介泽钰、张聪、晓鹏等，均来自美团到家事业群/搜索推荐技术部-搜索工程团队。 8.

1.3K4 0

CA1845：使用基于跨度的“string.Concat”

值规则 ID CA1845 类别 “性能” 修复是中断修复还是非中断修复非中断原因此规则查找包含 Substring 调用的字符串串联表达式，同时建议将 Substring 替换为 AsSpan...并使用基于跨度的 String.Concat 重载。...规则说明调用 Substring 会生成提取的子字符串的副本。通过使用 AsSpan 代替 Substring，并调用接受跨度的 string.Concat 重载，可以消除不必要的字符串分配。...如何解决冲突若要解决冲突，请执行以下操作：将字符串串联替换为对 string.Concat 的调用，以及将对 Substring 的调用替换为对 AsSpan 的调用。...当提取的子字符串仅传递给具有基于跨度的等效项的方法时，没有理由在 AsSpan 上使用 Substring。另请参阅性能规则

3681 0

您找到你想要的搜索结果了吗？

是的

没有找到

基于faiss的搜索

PCADecomposition from textmatch.tools.faiss.faiss import FaissSearch test_dict = {"id0": "其实事物发展有自己的潮流和规律...", "id1": "当你身处潮流之中的时候，要紧紧抓住潮流的机会", "id2": "想办法脱颖而出，即使没有成功，也会更加洞悉时代的脉搏", "id3": "收获珍贵的知识和经验。...而如果潮流已经退去", "id4": "这个时候再去往这个方向上努力，只会收获迷茫与压抑", "id5": "对时代、对自己都没有什么帮助", "id6": "但是时代的浪潮犹如海滩上的浪花...你需要敏感而又深刻地去观察，略去那些浮躁的泡沫，抓住真正潮流的机会，奋力一搏，不管成败，都不会遗憾。"..., "id7": "其实事物发展有自己的潮流和规律", "id8": "当你身处潮流之中的时候，要紧紧抓住潮流的机会" } if __name__ == '__main__':

4483 0

【AI in 美团】深度学习在美团搜索广告排序的应用实践

总第251篇 2018年第43篇 AI（人工智能）技术已经广泛应用于美团的众多业务，从美团App到大众点评App，从外卖到打车出行，从旅游到婚庆亲子，美团数百名最优秀的算法工程师正致力于将AI技术应用于搜索...基于AI技术，美团搭建了世界上规模最大，复杂度最高的多人、多点实时智能配送调度系统；基于AI技术，美团推出了业内第一款大规模落地的企业应用级语音交互产品，为50万骑手配备了智能语音系统；基于AI技术，美团构建了世界上最大的菜品知识库...美团海量的用户与商家数据，广告复杂的场景下众多的影响因素，为深度学习方法的应用落地提供了丰富的场景。本文将结合广告特殊的业务场景，介绍美团搜索广告场景下深度学习的应用和探索。...作者简介薛欢，2016年3月加入美团，主要从事搜索广告排序模型相关的工作。姚强，2016年4月加入美团，主要从事搜索广告召回、机制与排序等相关算法研究应用工作。...玉林，2015年5月加入美团，主要从事搜索广告排序相关的工程优化工作。王新，2017年4月加入美团，主要从事GPU集群管理与深度学习工程优化的工作。

7672 0

美团点评旅游搜索召回策略的演进

背景美团点评作为最大的生活服务平台，有丰富的品类可供用户选择，因此搜索这个入口对各业务的重要性不言而喻，除了平台搜索外，业务搜索系统的质量和效果对用户体验、商家曝光、平台交易也有着关键作用。...相对美团点评平台的O2O检索，旅游搜索系统主要面临以下几点挑战：本异地差异大。...美团点评是一家电商公司，营业收入是核心指标，以搜索为例，用户行为链条包括搜索Query->点击搜索结果列表页中的POI/Deal等->下单支付->消费，最后计算消费收入。...因此以访购率作为搜索的核心指标跟美团点评的业务特点最为匹配。 ? 点击率：点击PV/搜索PV（Page View）。...模块化展示除全国召回外，周边游频道搜索当时仍沿用了美团点评平台的展示及召回机制： POI下挂Deal形式展示。通过POI及POI下挂的Deal信息进行召回。

3.5K12 1

【AI in 美团】深度学习在美团搜索广告排序的应用实践

总第251篇 2018年第43篇 AI（人工智能）技术已经广泛应用于美团的众多业务，从美团App到大众点评App，从外卖到打车出行，从旅游到婚庆亲子，美团数百名最优秀的算法工程师正致力于将AI技术应用于搜索...基于AI技术，美团搭建了世界上规模最大，复杂度最高的多人、多点实时智能配送调度系统；基于AI技术，美团推出了业内第一款大规模落地的企业应用级语音交互产品，为50万骑手配备了智能语音系统；基于AI技术，美团构建了世界上最大的菜品知识库...美团海量的用户与商家数据，广告复杂的场景下众多的影响因素，为深度学习方法的应用落地提供了丰富的场景。本文将结合广告特殊的业务场景，介绍美团搜索广告场景下深度学习的应用和探索。...作者简介薛欢，2016年3月加入美团，主要从事搜索广告排序模型相关的工作。姚强，2016年4月加入美团，主要从事搜索广告召回、机制与排序等相关算法研究应用工作。...玉林，2015年5月加入美团，主要从事搜索广告排序相关的工程优化工作。王新，2017年4月加入美团，主要从事GPU集群管理与深度学习工程优化的工作。

7543 0

广告行业中那些趣事系列15：超实用的基于BERT美团搜索实践

首先介绍了业务背景，主要对比了美团搜索业务场景和我们的应用场景；然后讲了下计算query和doc相关性的方法，主要包括计算字面相关性和计算语义相关性，重点介绍了基于BERT的语义相关性内容；最后也是本篇的重点...本篇重点分析的就是query-doc类型的句子对关系任务。下面分别从美团搜索和我们实际的业务场景进行对比：先说说美团搜索场景。...下图分别是美团app搜索场景和我们终端搜索场景：图1 美团app搜索场景和我们终端搜索场景对于用户来说，我希望搜索的结果是和庙东排骨相关的。...美团搜索推荐项目主要使用BERT基于finetune-based的方法计算query和doc的相关性。...美团基于自己的业务数据构建了餐饮娱乐领域的知识图谱“美团大脑”。将知识图谱中得到的地址、品类等属性数据用于预训练。这里举例说明引入品类信息的好处。

5314 0

美团搜索中NER技术的探索与实践

在美团搜索场景下，NER是深度查询理解（Deep Query Understanding，简称 DQU）的底层基础信号，主要应用于搜索召回、用户意图识别、实体链接等环节，NER信号的质量，直接影响到用户的搜索体验...在美团搜索场景下，通过对POI结构化信息、商户评论数据、搜索日志等独有数据进行离线挖掘，可以很好地解决领域实体识别问题。...例如，直接基于实体搜索量作为实体节点权重，当用户搜索“信阳菜馆”时，“信阳菜/馆”的得分大于“信阳/菜馆”。...同时，针对模型分词错误问题，设计两阶段修复方式：结合模型分词Term和基于领域字典匹配Term，根据动态规划求解Term序列权重和的最优解。基于Pattern正则表达式的强修复规则。...该方法十分适合美团搜索场景下的BERT模型优化，原因是搜索有明显的高低峰期，可提升高峰期模型的吞吐量。 3.

2.3K2 1

美团搜索粗排优化的探索与实践

总第528篇 2022年第045篇粗排是工业界搜广推系统的重要模块。美团搜索排序团队在优化粗排效果的探索和实践中，基于业务实际场景，从精排联动和效果性能联合优化两方面优化粗排，提升了粗排的效果。...本文介绍了美团搜索粗排的迭代路线、基于知识蒸馏和自动神经网络选择的粗排优化工作，希望为从事相关工作的同学带来一些启发或者帮助。 1. 前言 2. 粗排演进路线 3....粗排演进路线美团搜索的粗排技术演进分为以下几个阶段： 2016 年：基于相关性、质量度、转化率等信息进行线性加权，这种方法简单但是特征的表达能力较弱，权重人工确定，排序效果存在很大的提升空间。...因此为了解决以上问题，我们探索并实践了基于神经网络架构搜索的粗排建模方案，该方案同时优化粗排模型的效果和性能，选择出满足粗排时延要求的最佳特征组合和模型结构，整体架构图如下图7所示：图7 基于 NAS...也许你还想看 | 端智能在大众点评搜索重排序的应用实践 | BERT在美团搜索核心排序的探索和实践 | 多业务建模在美团搜索排序中的实践阅读更多 --- 前端 | 算法 | 后端 |

9035 0

基于java的正则表达式

正则表达式概念正则表达式，又称正规表示法、常规表示法（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科学的一个概念。...正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编辑器里，正则表达式通常被用来检索、替换那些符合某个模式的文本。正则表过式用于操作字符串数据。...String类里有一个方法 public boolean matches(String regex)告知此字符串是否匹配给定的正则表达式。...参数： regex - 用来匹配此字符串的正则表达式返回：当且仅当此字符串匹配给定的正则表达式时，返回 true 符号简介： \\匹配反斜线字符 \r匹配回车符 \t匹配制表符 \...Matcher m = p.matcher(“aaaaab”);//用正则表达式的方法matcher和字符串关联,获取对字符串操作的匹配对象 Matcher boolean b = m.matches

6541 0

Nebula 基于 ElasticSearch 的全文搜索引擎的文本搜索

[Nebula 基于全文搜索引擎的文本搜索] 1 背景 Nebula 2.0 中已经支持了基于外部全文搜索引擎的文本查询功能。...1.1 Nebula Graph 架构简介 [Nebula 基于全文搜索引擎的文本搜索] 如图所示，Storage Service 共有三层，最底层是 Store Engine，它是一个单机版 local...2 目标 2.1 功能 2.0 版本我们只对 LOOKUP 支持了文本搜索功能。也就是说基于 Nebula 的内部索引，借助第三方全文搜索引擎来完成 LOOKUP 的文本搜索功能。...目前所支持的文本搜索表达式如下：模糊查询前缀查询通配符查询正则表达式查询 2.2 性能这里所说的性能，指数据同步性能和查询性能。...4.3 查询逻辑 [Nebula 基于全文搜索引擎的文本搜索] 由上图可知，其文本搜索的关键步骤是 “Send Fulltext Scan Request” → "Fulltext Cluster" →

1.1K0 0

BERT在美团搜索核心排序的探索和实践

为进一步优化美团搜索排序结果的深度语义相关性，提升用户体验，搜索与NLP部算法团队从2019年底开始基于BERT优化美团搜索排序相关性，经过三个月的算法迭代优化，离线和线上效果均取得一定进展。...美团AI平台搜索与NLP部算法团队基于美团海量业务语料训练了MT-BERT模型，已经将MT-BERT应用到搜索意图识别、细粒度情感分析、点评推荐理由、场景化分类等业务场景中[2]。...图2展示了基于BERT优化美团搜索核心排序相关性的技术架构图，主要包括三部分：数据样本增强：由于相关性模型的训练基于搜索用户行为标注的弱监督数据，我们结合业务经验对数据做了去噪和数据映射。...总结与展望本文总结了搜索与NLP算法团队基于BERT在美团搜索核心排序落地的探索过程和实践经验，包括数据增强、模型优化和工程实践。...在样本数据上，我们结合了美团搜索业务领域知识，基于弱监督点击日志构建了高质量的训练样本；针对美团搜索多模态特点，在预训练和Fine-tuning阶段融合图谱品类和标签等信息，弥补Query和Doc文本较短的不足

2.1K19 19

论文赏析一个最小化的基于跨度的神经句法分析器

的集合，也就是句法树中的每一个结点的类别是label，该结点对应的短语在句子中的下标范围就是span。...那么我们的编码模型任务就是要得出每一个短语的表示，并将其转换为短语的label得分和span得分。这里用到的就是最简单的双向LSTM，对于句子的第 ? 个位置，得到它的双向表示 ?...叉树不同的二叉化导致的不同的split产生的问题。在实际的代码中，直接采用了 ? 集合中最左边的split作为标准树中的split，当然也可以选择得分最高的一个split，不过提升不大没有必要。...总结近些年来，效果最好的成分句法分析器基本都是基于转移系统的，还有诸如基于CRF之类的句法分析器。...本文提出的基于span表示与得分，从而进行chart解析或者top-down解析的模型是当时结果最好的模型。而且该模型非常的简单，不再需要复杂的语法规则。

5935 0

美团搜索中查询改写技术的探索与实践

场景拓展：例如“摘草莓”在美团的搜索场景下，用户基于对平台的认知对应需求是“草莓园”。...图2 查询改写在美团App搜索上应用的例子 2.2 美团搜索场景下查询改写信号的难点和挑战搜索是在用户搜索词以及供给两方面约束下尽可能提高用户触达效率以及商业化指标，而美团的搜索场景增加了“地域”第三个约束...在候选集生成方面，基于搜索日志的挖掘、基于翻译思想、基于图计算、基于Embedding都是工业界和学术界常用的方法；在候选集过滤判别方面则有句间关系分类、Embedding相似度计算等方法。...图向量融合：尝试基于搜索结果构造图模型的方法，结合线上实际搜索结果增强判别能力。...ANN检索：向量检索使用了美团搜索团队自研的Antler向量检索引擎，该服务基于Faiss库封装，实现了IVFFlat、HNSW等向量检索算法，并支持分布式向量检索、实时索引、多字段分片、向量子空间、标量过滤等检索能力

1.1K3 1

美团搜索中查询改写技术的探索与实践

场景拓展：例如“摘草莓”在美团的搜索场景下，用户基于对平台的认知对应需求是“草莓园”。...在候选集生成方面，基于搜索日志的挖掘、基于翻译思想、基于图计算、基于Embedding都是工业界和学术界常用的方法；在候选集过滤判别方面则有句间关系分类、Embedding相似度计算等方法。...图向量融合：尝试基于搜索结果构造图模型的方法，结合线上实际搜索结果增强判别能力。...ANN检索：向量检索使用了美团搜索团队自研的Antler向量检索引擎，该服务基于Faiss库封装，实现了IVFFlat、HNSW等向量检索算法，并支持分布式向量检索、实时索引、多字段分片、向量子空间、标量过滤等检索能力...在线模型方面结合垂直领域搜索的结构化检索特点，设计了高精度的词典改写、较高精度的模型改写（基于SMT统计翻译模型和XGBoost排序模型）、覆盖长尾Query的基于强化学习方法优化的NMT模型、针对商户搜索的向量化召回四种线上方案

1.8K2 1

多业务建模在美团搜索排序中的实践

美团首页的搜索是美团 App 上各类生活服务最大的流量分发入口，每天为数千万的用户提供各种服务。...美团搜索排序是一个典型的多业务混合排序建模问题，一个典型的多业务搜索场景是当用户搜索地点，如 “望京” 的时候，用户的需求不是很明确，此时搜索的结果页如下图 1 所示，下方的商家列表中会包含望京附近餐饮...这种基于配额对多路召回结果进行合并的做法在搜索、推荐场景中十分常用，比如淘宝首页搜索、美团推荐等。为了多路召回的灵活接入，适配美团搜索业务的发展，我们不断迭代搜索配额模型。...多业务排序模型（精排层）从美团搜索精排模型升级为 DNN 模型，一直到 2019 年底，美团搜索的精排模型结构是业界主流的 Embedding&MLP 的范式结构，期间我们也尝试过业界提出的模型结构比如...多目标优化：美团搜索既要兼顾用户的搜索体验，也要服务美团各个业务的战略目标，所以各个业务的主优化指标不一定一致，多目标优化也是一个持续探索的方向。

1K3 0

谈谈基于深度学习的图像搜索

类似于这样的技术还有声音识别（通过声音鉴别发声者是不是你），视频识别（通过视频寻找你是不是在这个视频中）等。这些应用在人工智能深度学习中都属于向量搜索的技术范畴，现在给大家简单介绍一下向量搜索。...3.向量化向量化是把图像、音频、视频信息转换为向量的方法。向量化的方法主要分为基于特征的向量化方法和基于卷积神经网络的向量化两种方法。...基于特征的向量化方法主要是通过提取图像的色彩、纹理、形状等特征，然后将这些特征转化为向量。由于基于特征的向量化方法在处理复杂、模糊的图像时效果不太理想，所以一般不使用。...基于卷积神经网络的向量化可以自动学习从原始像素到高级语义特征的映射关系，从而提取出更加复杂和抽象的特征。这些特征向量不仅包含了图像的底层信息，还包含了高级的语义信息，因此可以更好地表示图像的内容。...深入了解基于特征的向量化和基于卷积神经网络的向量化需要具备高等数学的知识，在这里不进行介绍，有兴趣的同学可以寻找相关资料学习。

1301 0

基于召回和排序的文本搜索

:"我在玉龙雪山并且喜欢玉龙雪山", "2":"我在九寨沟", "3":"我在九寨沟,很喜欢", "4":"很喜欢"} query = "我在九寨沟,很喜欢" # 直接搜索...pre>>>>>', pre) # 先召回 match_pre = text_match_recall( query, doc_dict ) print( '召回的结果...jaccard_sim'] ) mf.init(words_dict=candidate_doc_dict) pre = mf.predict(query) print ('排序的结果...>>>>>', pre) ''' ''' 召回的结果: {'2': 0.5995837299668828, '3': 0.9999999210000139, '4':...0.5460526286735667} candidate_doc_dict: {'2': '我在九寨沟', '3': '我在九寨沟,很喜欢', '4': '很喜欢'} 排序的score>>>

8513 0

数学之美系列五——简单之美：布尔代数和搜索引擎的索引

建立一个搜索引擎大致需要做这样几件事：自动下载尽可能多的网页；建立快速有效的索引；根据相关性对网页进行公平准确的排序。...早期的文献检索查询系统大多基于数据库，严格要求查询语句符合布尔运算。今天的搜索引擎相比之下要聪明的多，它自动把用户的查询语句转换成布尔运算的算式。...于是，搜索引擎的索引就变成了一张大表：表的每一行对应一个关键词，而每一个关键词后面跟着一组数字，是包含该关键词的文献序号。对于互联网的搜索引擎来讲，每一个网页就是一个文献。...早期的搜索引擎（比如 Alta Vista 以前的所有搜索引擎），由于受计算机速度和容量的限制，只能对重要的关键的主题词建立索引。至今很多学术杂志还要求作者提供 3-5 个关键词。...这样所有不常见的词和太常见的虚词就找不到了。现在，为了保证对任何搜索都能提供相关的网页，所有的搜索引擎都是对所有的词进行索引。

9123 0

东南亚“美团” Grab 的搜索索引优化之法

是东南亚的“美团”。Grab Engineering 分享了他们对搜索索引进行优化的方法与心得，InfoQ 中文站翻译并分享。当今的应用程序通常使用各种数据库引擎，每个引擎服务于特定的需求。...本文介绍了如何优化增量搜索数据索引的一系列技术。...对于该索引的关键字搜索查询，例如“Burger”，实体 A 和实体 B 中名称包含“Burger”的对象都会在搜索响应中返回。...基于语句的日志记录：事件包含产生数据更改（插入、更新、删除）的 SQL 语句。基于行的日志记录：事件描述了单个行的更改。...Grab Caspian 团队（Data Tech）构建了一个基于 MySQL 基于行的二进制日志的变更数据捕获（Change Data Capture，CDC）系统。

9961 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭