首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

5 亿查询量的订单ES实践

、避免深分页查询 3、FieldData与Doc Values 总结 ---- 京东到家订单中心系统业务中,无论是外部商家的订单生产,或是内部上下游系统的依赖,订单查询的调用量都非常大,造成了订单数据读多写少的情况...同时对于一些复杂的查询,MySQL支持得不够友好,所以订单中心系统使用了Elasticsearch来承载订单查询的主要压力。 ?...分片数可以理解为MySQL中的分库分表,而当前订单中心ES查询主要分为两类:单ID查询以及分页查询。...4、主从集群调整阶段 到此,订单中心的ES集群已经初具规模,但由于订单中心业务时效性要求高,对ES查询稳定性要求也高,如果集群中有节点发生异常,查询服务会受到影响,从而影响到整个订单生产流程。...之前的主集群存储的是全量数据,用该集群来支撑剩余较小部分的查询流量,这部分查询主要是需要搜索全量订单的特殊场景查询以及订单中心系统内部查询等,而主集群也慢慢演变成一个冷数据集群。

3K21
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    SAP MM 按采购订单查询付款信息的报表?

    SAP MM 按采购订单查询付款信息的报表? 上午给P3项目采购部门用户做了一个采购相关的报表的培训。...培训过程中,客户的采购部门经理提出了一个问题:有没有报表能查询到各个采购订单的付款情况,显示采购订单号,已付多少,未付多少,未付金额系统建议的付款期又是哪一天等等。...笔者了解到FI模块有个报表FBL1N,可以查询open或者cleared的应付款的。但是笔者对于这个报表并不了解,带着用户的问题,笔者饶有兴趣的去研究了FBL1N这只报表。...在客户的Quality系统上,按照一定查询条件得到了如下结果: ? 笔者惊喜的发现,通过调整报表布局,可以调出“采购订单号码“字段,显示在报表里。...结合查询资料的结果,以及咨询了若干资深FICO顾问,笔者认为:SAP系统里不存在满足业务这个要求的报表。写下这篇,算是抛个砖引个玉,希望能收到SAP同行们的好建议。 2018-09-12 写于杭州市。

    85320

    SAP MM 按采购订单查询付款信息的报表?

    SAP MM 按采购订单查询付款信息的报表? 上午给P3项目采购部门用户做了一个采购相关的报表的培训。...培训过程中,客户的采购部门经理提出了一个问题:有没有报表能查询到各个采购订单的付款情况,显示采购订单号,已付多少,未付多少,未付金额系统建议的付款期又是哪一天等等。...笔者了解到FI模块有个报表FBL1N,可以查询open或者cleared的应付款的。但是笔者对于这个报表并不了解,带着用户的问题,笔者饶有兴趣的去研究了FBL1N这只报表。...在客户的Quality系统上,按照一定查询条件得到了如下结果: 笔者惊喜的发现,通过调整报表布局,可以调出“采购订单号码“字段,显示在报表里。...结合查询资料的结果,以及咨询了若干资深FICO顾问,笔者认为:SAP系统里不存在满足业务这个要求的报表。 2018-09-12 写于杭州市.

    1.2K31

    大数据 面试SQL 037查询最近一笔有效订单

    一、题目 现有订单表t_order_037,包含订单ID,订单时间,下单用户,当前订单是否有效 +---------+----------------------+----------+--------...12-11 12:07:03 | b | 1 | +---------+----------------------+----------+-----------+ 请查询出每笔订单的上一笔有效订单...,期望查询结果如下: +---------+----------------------+----------+-----------+--------------------+ | ord_id |...维度 评分 题目难度 ⭐️⭐️⭐️⭐️ 题目清晰度 ⭐️⭐️⭐️⭐️⭐️ 业务常见度 ⭐️⭐️⭐️⭐️ 三、SQL 1.先查询出有效订单,然后计算出每笔有效订单的上一单有效订单; select ord_id...2.原始的明细数据与新的有效订单表按照用户进行关联,有效订单表的订单时间大于等于原始订单表; with tmp as( -- 有效订单及其上一单有效记录 select ord_id, ord_time

    25010

    关于微信支付-商户平台:查询订单提示“查询失败:操作失败,请稍候重试”的分析

    其中一个客户给我我们提供了手机截图,我们根据用户提供的订单号,登录微信支付商户平台,交易中心,按订单号进行查询,如下图,查询后的结果却显示“查询失败:操作失败,请稍候重试”......分析 一般的情况下,查询订单会有两种结果,一、查不到,二、查得到。 一、查询不到订单号的显示如下图: ​ 点击查询按钮后,系统显示“查询失败:商户订单号输入不正确”。...二、查询得到订单,如下图: ​ 但第三种情况,某些存在且更新异常的订单,仍然提示 “查询失败:操作失败,请稍候重试”,则比较让人疑惑,如果按照字面的稍候重试去理解,则永远的答案都会是显示这一句话。...应对 目前来看,查询订单的结果无非这三种情况,无论何种情况,我们需要以下几点应对方案: (1)建立日志跟踪机制是必不可少的,我们以 MS SQL SERVER 举例建立类似如下表: 序号 字段名 类型...15 cid uniqueidentifier 日制记录唯一标识 (2)建立对帐排查功能 如下图登录微信支付商户平台,进入交易中心、交易订单、批量订单查询、输入或选择交易时间范围,点击查询 ​ 我们可以下载

    27410

    订单支付超时,自动关闭订单实现

    今天跟大家一起探讨一个场景:用户对商品下单,约定30分钟没支付,超时订单将被系统自动关闭。 你会如何实现呢? 早期方案:扫表 定时任务,每分钟去查询数据库,查询超时没有支付的,就修改订单状态。...图片 思路清晰,实现起来也比较简单,但是遇到的问题也比较多,比如: 每分钟都去查询数据库,数据库的压力比较大。 有一定的延迟。 方案升级:消息队列 用户下单成功,就发送到消息队列。...时间到了,消费端拿到数据,就查询数据,判断订单状态,如果没有支付,就修改订单状态。 图片 目前落地的是采用 RabbitMQ 的延迟队列。...用户创建订单成功,就加入到 MQ 的延迟队列,时间到了,就会自动消费,然后关单。

    1.8K10

    (1)订单模块---创建订单和更新订单如何保证幂等

    存储系统最基本的原则是保证数据不能错前言.什么是幂等幂等:系统间多次重复请求,跟第一次请求产生的结果一样,而无其他的影响用户在立即购买点击下单时候,有可能重复点击下单按钮,如果后端根据请求的次数相应的创建多笔订单...,这是系统的bug,实际上用户只是点击一次下单,所以要保证下单接口的幂等性,对于业务订单的支付状态或者物流状态变更都是基于订单表进行的更新update操作,也需要保证幂等性知识点:数据库select update...创建订单 怎么保证幂等性其实就是给每个请求分配唯一的订单号,这个订单号要保证全局唯一,其次需要是递增,能看出下单请求的次序具体就是需要用户在下单前,先请求后台服务获取一个订单号,然后再带着订单号下单,具体后台处理逻辑就是...先查询然后新增,查询是为了保证不重复插入,如果查询有数据,直接返回给客户端,否则新增注意事项:或者直接新增,如果有报唯一索引冲突,说明之前有过相同的插入记录,此时需要返回客户端的是成功提示,而不是失败...,提升用户体验2.订单更新 怎么保证幂等用户立即购买,并且支付后,订单的状态需要更新为支付成功可以直接利用数据库的更新操作保证幂等性,但是具体到业务场景,还需要避免ABA问题,这个时候,需要多加个维度保证数据更新的幂等

    43910

    日均5亿订单查询完美解决!

    京东到家订单中心系统业务中,无论是外部商家的订单生产,或是内部上下游系统的依赖,订单查询的调用量都非常大,造成了订单数据读多写少的情况。...同时对于一些复杂的查询,MySQL支持得不够友好,所以订单中心系统使用了Elasticsearch来承载订单查询的主要压力。...分片数可以理解为MySQL中的分库分表,而当前订单中心ES查询主要分为两类:单ID查询以及分页查询。...4、主从集群调整阶段 到此,订单中心的ES集群已经初具规模,但由于订单中心业务时效性要求高,对ES查询稳定性要求也高,如果集群中有节点发生异常,查询服务会受到影响,从而影响到整个订单生产流程。...之前的主集群存储的是全量数据,用该集群来支撑剩余较小部分的查询流量,这部分查询主要是需要搜索全量订单的特殊场景查询以及订单中心系统内部查询等,而主集群也慢慢演变成一个冷数据集群。

    62310

    海量交易订单查询没做“重试”,一哥们“喜提”P3故障!

    为什么查询订单量这么少就超时了?为什么??? 从上述的场景中,得出的结论就是,关键的接口超时没有做好重试处理,数据量上升的时候,查询超时的问题不能够自动解决!...我们应该做: 我们应该在接收到消息的时候,根据订单ID去数据库查询一下订单此时的状态,然后根据当前的状态判断下一步的操作,并且消息处理的时候还要加锁哦!加锁的维度可以是订单ID!...因此,不要把可变值作为幂等的条件,加锁查询订单最新的状态!...如果你的业务在接收用户下单消息做的处理不影响主链路的话,则可以直接先处理”用户支付消息“,当在收到”用户下单消息“的时候,查询订单的状态已经变为”已支付“,则直接把消息幂等掉,返回true,结束消息的消费...根据查询出来的订单状态进行判断,判断是否已经消费了”用户下单消息“,当先接收到”用户支付消息“的时候,消息直接重发就可以了,等消费了”用户下单消息“之后,再消费”用户支付消息“。 ?

    91420

    字节跳动大数据面试SQL-查询最近一笔有效订单

    一、题目 现有订单表t_order,包含订单ID,订单时间,下单用户,当前订单是否有效,请查询出每笔订单的上一笔有效订单 +---------+----------------------+------...12-11 12:07:03 | b | 1 | +---------+----------------------+----------+-----------+ 期望查询结果如下...维度 评分 题目难度 ⭐️⭐️⭐️⭐️ 题目清晰度 ⭐️⭐️⭐️⭐️⭐️ 业务常见度 ⭐️⭐️⭐️⭐️ 三、SQL 1.先查询出有效订单,然后计算出每笔有效订单的上一单有效订单; 执行SQL select...ord_time, user_id, is_valid from t_order where is_valid = 1) t 查询结果...,有效订单表的订单时间大于等于原始订单表; 执行SQL with tmp as ( -- 有效订单及其上一单有效记录 select ord_id, ord_time

    16310

    日均5亿查询量的京东订单中心,为什么舍MySQL用ES?

    同时对于一些复杂的查询,MySQL支持得不够友好,所以订单中心系统使用了Elasticsearch来承载订单查询的主要压力。 ?...分片数可以理解为MySQL中的分库分表,而当前订单中心ES查询主要分为两类:单ID查询以及分页查询。...4、主从集群调整阶段 到此,订单中心的ES集群已经初具规模,但由于订单中心业务时效性要求高,对ES查询稳定性要求也高,如果集群中有节点发生异常,查询服务会受到影响,从而影响到整个订单生产流程。...同时由于大部分ES查询的流量都来源于近几天的订单,且订单中心数据库数据已有一套归档机制,将指定天数之前已经关闭的订单转移到历史订单库。...之前的主集群存储的是全量数据,用该集群来支撑剩余较小部分的查询流量,这部分查询主要是需要搜索全量订单的特殊场景查询以及订单中心系统内部查询等,而主集群也慢慢演变成一个冷数据集群。

    87610

    日均5亿查询量的京东订单中心,为什么舍MySQL用ES?

    场景描述:京东到家订单中心系统业务中,无论是外部商家的订单生产,或是内部上下游系统的依赖,订单查询的调用量都非常大,造成了订单数据读多写少的情况。...同时对于一些复杂的查询,MySQL支持得不够友好,所以订单中心系统使用了Elasticsearch来承载订单查询的主要压力。 ?...分片数可以理解为MySQL中的分库分表,而当前订单中心ES查询主要分为两类:单ID查询以及分页查询。...4、主从集群调整阶段 到此,订单中心的ES集群已经初具规模,但由于订单中心业务时效性要求高,对ES查询稳定性要求也高,如果集群中有节点发生异常,查询服务会受到影响,从而影响到整个订单生产流程。...之前的主集群存储的是全量数据,用该集群来支撑剩余较小部分的查询流量,这部分查询主要是需要搜索全量订单的特殊场景查询以及订单中心系统内部查询等,而主集群也慢慢演变成一个冷数据集群。

    81130

    微服务架构实战:商城的用户登录与账户切换设计、订单查询设计

    商城的用户登录与账号切换设计 在移动商城的设计中,除商品和分类查询是完全开放权限的页面外,其他涉及个人隐私的个人信息、订单查询和购物车等都必须进行权限管理。...订单查询设计 在订单查询设计中,主要是使用订单列表的方式显示每一个特定用户的订单。...“index.html” 订单查询的主页视图设计与商品查询设计相似,都是通过屏幕的滑动下拉实现自动分页功能的,不同之处在于权限管理和信息显示处理设计。...为了保证每个用户只能查询自己的订单,在订单列表查询视图设计中会检查用户的登录状态。...订单明细数据则以商品图片的形式进行显示。 订单查询设计完成之后,显示效果如图9-6所示。 集成测试 当移动商城设计完成之后,可以进行一个集成测试。

    72020
    领券