在这个基础上，想把慢日志的优化工作做得更透一些，需要对原来的慢日志信息从展示升华到优化建议，整体设计行做了如下的规划：
最近时运不佳，几乎天天被线上问题骚扰。前几天刚解决了一个 HashSet 的并发问题，周六又来了一个性能问题。
在MySQL中，对于性能问题诊断，最开始的时候总是感觉有些束手无策，如果一个人问你，MySQL数据库响应慢了，该怎么办，如果数据库服务器CPU 100%了该怎么吧，或者数据库连接不上了，业务提示无法连接该怎么办，看起来好像没有太大的关系的问题，其实我们能够分析的一个入口就是日志。
正式分享之前，先对最近热门的删库事件做一点反思。作为DBA应如何加强预防，改进措施防止再出现类似事件呢？我认为主要从三点出发：一是流程规范，二是技术支撑，三是安全制度。
SkyWalking的OAP（Observability Analysis Platform，观测分析平台）是一个用于链路数据的分布式计算系统。
对于尚未上线的SQL，我们可通过在测试环境去基于全量日志或者审计日志的方式，进行explain分析其是否存在ALL或affect_rows过大的情况，提前优化sql或者添加索引。
在MySQL中，SQL优化是很常见的一种需求，我自己这方面的经验也不是特别充足，在我自己的认知中，通常情况下，会通过下面的步骤去优化一个慢日志较多MySQL服务。
在业务需求中，经常需要我们在系统中能够记录历史信息，能够查看到历史变动情况，这时我们可以通过增加开始结束时间字段来记录数据的历史版本。对数据的历史记录主要分为：关系、属性历史，实体历史和变更历史。
内容来源：2017 年 10 月 20 日，苏宁云商IT总部资深技术经理陈华军在“PostgreSQL 2017中国技术大会”进行《苏宁citus分布式数据库应用实践》演讲分享。IT 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。
很多业务系统在发生问题的时候感觉是突然发生的，但是按照分析问题的思路查下去却发现是这样那样的原因，毫无疑问大多是一些很小的问题逐步放大之后看到的。
今天收到一个业务报警，提示某个数据库实例的连接数暴涨，然后瞬间又恢复了，这种情况持续反复了几次，和开发同学沟通时，他们也希望能够得到更多的信息，比如是哪个数据库的连接数异常暴涨，我也想知道啊，但是苦于没有合适的工具和方法能够实现更细粒度的监控/统计，于是我着手开始分析这个问题。
有台MySQL服务器不定时的会出现并发线程的告警，从记录信息来看，有大量insert的慢查询，执行几十秒，等待flushing log，状态query end
最近遇到mongo集群性能问题,主要体现在查询性能或者聚合性能慢(查询类似关系型数据库中select * from xx where a='xx',另外聚合类似group by+count、sum),nosql与关系型数据库存在很多类似，比如分页查询语句是比较常见问题,分页优化在数据库优化原理类似.常见分页场景需求(本次主要基于这2种场景进行优化介绍)
我觉得你可以把你一整天的工作情况都罗列下来，毫无疑问，你需要是个有心人，你得关心自己的工作情况，把耗时和时间的分配情况都记录下来，便于追溯。
BIGO 是一家面向海外的以短视频直播业务为主的公司, 目前公司的主要业务包括 BigoLive (全球直播服务)，Likee (短视频创作分享平台)，IMO (免费通信工具) 三部分，在全球范围内拥有 4 亿用户。伴随着业务的发展，对数据平台处理能力的要求也是越来越高，平台所面临的问题也是日益凸显，接下来将介绍 BIGO 大数据平台及其所面临的问题。BIGO 大数据平台的数据流转图如下所示：
随着微服务以及容器技术的发展，系统软件的构建方式也随之发生了改变，微服务调用关系错综复杂，传统的监控方案很难满足当下应用场景的需求，指标、链路追踪以及日志目前已经成为了云原生应用的“必备品”，当把它们集成在一起时，需要拥有一个更加成熟的现代化可观测体系来支撑，以便了解应用系统内发生的事情。通过可观测性体系的建立，我们可以更好的去洞察监控数据，从而能够更快速的做问题定界以及根因定位，降低 MTTR。
NewLife.XCode是一个有10多年历史的开源数据中间件，支持nfx/netcore，由新生命团队(2002~2019)开发完成并维护至今，以下简称XCode。
在应用的的开发过程中，由于初期数据量小，开发人员写 SQL 语句时更重视功能上的实现，但是
背景 当下，业界越来越多公司在项目架构设计时，会采用微服务架构。微服务架构，可以让我们的产品有更好的扩展性，更好的伸缩性；但同时也会带来微服务的一系列问题，比如微服务接口怎样规范管理？怎样在多团队协作
但是实际使用上，二者还有一个核心的关键点，就是GENERATE函数可以传递第一参数的上下文，而CROSSJOIN函数不能传递第一参数上下文。
相信大家在做功能测试的过程中，经常会遇到一些难以重现的bug，或者明明在自己电脑上是好的，但是在别人电脑上操作的时候就是会报错，就是这么的让你难以琢磨。正好小编最近在做测试的时候，也遇到过这么一个问题 ，有用户反馈查看XXX页面的数据，一进去就报错，我这边访问是正常的。经过一系列的操作 ，最终还是让我给找到了重现的步骤 ，下面我分享一下定位这个问题的思路和步骤，希望能对大家有所帮助吧。
Tech 导读 大报文问题，在京东物流内较少出现，但每次出现往往是大事故，甚至导致上下游多个系统故障。大报文的背后，是不同商家业务体量不同，特别是B端业务的采购及销售出库单，一些头部商家对京东系统支持业务复杂度及容量能力的要求越来越高。因此有必要把这个问题重视起来，从组织上根本上解决。
2021年开年，“链家删库跑路”事件在IT行业掀起了巨浪！1月6日，北京第一中级人民法院公布了一份刑事裁定书，前链家员工因不满工作调整，删了公司9TB数据。链家为恢复及重新构建财务系统共计花费人民币18万元，而员工则成功把自己“送进去”7年。
在前几期的直播中，我们为大家介绍了监控和日志相关的一些内容。监控分为三个阶段，基础监控、应用监控、业务监控。前面我们已经分享了基础监控的部分，今天主要为大家带来用户体验优化的一些分享。
背景：当一个用户有多个订单线路时,第N个订单取第N个线路的明细打印,那么会出现三种情况：
Gavin Zhu，携程软件技术专家，负责监控系统运维开发、ES系统运维及Clickhouse技术应用推广及运维工作。
虽然实时计算在最近几年才火起来，但是在早期也有不少公司有实时计算的需求，但数据量不成规模，所以在实时方面形成不了完整的体系，基本所有的开发都是具体问题具体分析，来一个需求做一个，基本不考虑它们之间的关系，开发形式如下：
微信支付 API V3 版本的 Java 实现Payment Spring Boot发布1.0.11.RELEASE版本，本次版本主要增加了对 V3 版本分账的支持，优化了部分 API 实现。同时感谢 YoungBreezeM 和 AmazingDM 两位同学的 PR。更多的细节请参阅更新日志[1]
场景描述：数据工程团队是知乎技术中台的核心团队之一，该团队主要由数据平台、基础平台、数据仓库、AB Testing 四个子团队的 31 位优秀工程师组成。这篇文章分享了知乎实时数仓的演进过程。
传统监控体系是面向静态资源通过主动拨测方式构建的时序监控指标视图，其前置条件需要明确观测对象及观测指标，基于指标体系工程师能够了解哪些系统是确定工作的。在云原生观测场景下指标覆盖不全、业务侵入性大、数据关联性差、缺乏基于业务视角异常感知机制等问题凸显，传统监控能力难以适应云原生架构动态变化、服务依赖复杂、信息组织多样的现实问题，无法从全业务流量链路上有效定位问题，故障处置不及时整体业务连续性遇到较大挑战。
转自知乎技术专栏：https://zhuanlan.zhihu.com/p/56807637
"数据智能" (Data Intelligence) 有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代
导语 | ClickHouse 在近几年是大数据分析引擎界的一匹黑马，从默默无闻到一路起飞，在 DB engine Rank 上进入前50名，成为全球数据引擎界耀眼的一颗明星。在全球范围内，ClickHouse 单表查询比其他引擎要快数倍以上，在过去的4年以来未曾有对手。ClickHouse 为什么会这么快？在实际使用当中如何应用这样一个引擎？还有哪些让人振奋和欣喜的feature将会发布？本文由易观CTO、腾讯云TVP 郭炜在 Techo TVP开发者峰会「数据的冰与火之歌——从在线数据库技术，到海
分布式链路追踪作为解决分布式应用可观测问题的重要技术，得物全链路追踪(简称Trace2.0)基于OpenTelemetry提供的可观测标准方案实现新一代的一站式全链路观测诊断平台，并通过全量采集Trace帮助业务提高故障诊断、性能优化、架构治理的效率。
如果在使用App时遇到闪退，你可能会选择卸载App、到应用商店怒斥开发者等方式来表达不满。但开发者也同样感到头疼，因为崩溃可能意味着用户流失、营收下滑。为了降低崩溃率，进而提升App质量，App开发团队需要实时地监控App异常。一旦发现严重问题，及时进行热修复，从而把损失降到最低。App异常监控平台，就是将这个方法服务化。 低成本 小型创业团队一般会选择第三方平台提供的异常监控服务。但中型以上规模的团队，往往会因为不想把核心数据共享给第三方平台，而选择独立开发。造轮子，首先要考虑的就是成本问题。我们选择了站
现在说数仓，更多的会和数据平台或者基础架构搭上，已经融合到整个基础设施的搭建上。这里呢，我们不说Hadoop各种组件之间的配合，我们就简单说下数仓分层的意义价值和该如何设计分层。
CE12800双机CSS堆叠作为三层网关，上连S9300，CE12800上连有两条运营商链路。
1.2.2 DWM 轻度汇总层(MID或DWB, data warehouse basis)
对于一个实时数据产品人员、或者开发人员来说，产品上展示的实时数据，pv、uv、gmv等等，怎么知道这些数据是不是正确的呢？当其他的小组开发的产品的数据(或者其他的数据提供方)又是另外一个数字，那么究竟该如何判断自己的数据还是别人的数据是正确的呢？
在公司内部，我们数据团队有幸与顺风车业务线深入合作，在满足业务方实时数据需求的同时，不断完善实时数仓内容，通过多次迭代，基本满足了顺风车业务方在实时侧的各类业务需求，初步建立起顺风车实时数仓，完成了整体数据分层，包含明细数据和汇总数据，统一了DWD层，降低了大数据资源消耗，提高了数据复用性，可对外输出丰富的数据服务。
最近看到Dmall冯光普老师的关于TopSQL的分享，于是参考他的方案在生产做了个低配版的实现（冯老师的方案中需要较强的前端编码能力，我这里改用grafana代替）。
上一篇：【swoole4.0】一次qps提升之旅(一) 我们介绍了如何使用tideways_xhprof，这一篇将介绍 当拿到性能分析数据后，如何看，以怎么看
从2020年疫情爆发以来，全国上下均处在疫情防控常态化期间，“健康码”已经成为各地大量人员流动场所进出的重要凭证。
1.数据库各数据对象的设计与实现：表、约束、完整性体现、查询、视图，要求用合理的数据体现。
通常的命名方式是：ODS_应用系统名(或缩写)_数据库类型_(数据库名称可省略)_数据表名_加载方式（增量还是全量），表名不能太长，一般不超过30字。如：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
