（实际系统跟这个图是有出入的，不过总体意思是这样。图是使用Excalidraw画的）
昨天下午的时候，收到一条报警信息，提示是一个异机房的从库出现了磁盘空间问题，这类问题看起来蛮好处理的，空间不够清理就是了，比如清理binlog,比如清理一些周期表等等。
我们需要存储结构化时序数据，时间间隔为5分钟或1分钟，计算95峰值、995峰值、最值等指标，并且在网页中展示。
许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。
在我们日常开发中，分页查询是必不可少的，可以说每个后端程序猿大部分时间都是CURD，所以分页的查询也接触的不少，你们都是怎么实现的呢？前不久的一段时间，我的一个同事突然找我寻求帮助，他说他写的sql查询太慢了，问我能不能帮他优化一下那条查询语句，经过一段时间的优化，我们成功的将原来8秒一条的sql成功优化到了不到一秒，然而想到知识应该学会分享，所以我今天打算写出这个优化过程，可以让更多的程序猿可以看到。
来源:https://blog.csdn.net/zwgdft/article/details/106291463
蔡岳毅，携程旅行网酒店研发中心高级研发经理，资深架构师，负责酒店大住宿数据智能平台，商户端数据中心以及大数据的创新工作。
线上有个定时任务，这个任务需要查询一个表几天范围内的一些数据做一些处理，每隔十分钟执行一次，直至成功。
据DB-Engines称，MySQL是世界上最受欢迎的开源数据库，十多年来一直排名第二。MySQL推动了LAMP堆栈的崛起，并多年来一直是开发人员和数据库管理员的可靠伙伴。2023年10月，版本5.7将达到生命周期终止状态，这意味着这个版本将不再接收更新或安全补丁。
在ElaticSearch里面，路由功能算是一个高级用法，大多数时候我们用的都是系统默认的路由功能，我们知道一个es索引可以分多个shard和每个shard又可以有多个replia，那么现在思考一个问
特殊说明： 第三方平台不会及时同步本文章最新内容，如果觉得本文资料不全，可以访问本人Java博客搜索：标题类似的关键字 上述文章均是我实际操作后产出，烦请各位，请勿直接盗用！转载记得标注原文链接：www.zanglikun.com
本篇文章主要说一说Oracle数据库安全审计控制点中b、c、d测评项的相关内容和理解，以及一些其它零碎的与等保相关的内容。
一个管理平台门户网页进统计页面提示请求超时，随进服务器操作系统检查load average超过4负载很大，PID为7163的进程占用到了800%多。
MySQL的历史可以追溯到1979年，它的创始人叫作Michael Widenius，他在开发一个报表工具的时候，设计了一套API，后来他的客户要求他的API支持sql语句，他直接借助于mSQL（当时比较牛）的代码，将它集成到自己的存储引擎中。但是他总是感觉不满意，萌生了要自己做一套数据库的想法。一到1996年，MySQL 1.0发布，仅仅过了几个月的时间，1996年10月MySQL 3.11.1当时发布了Solaris的版本，一个月后，linux的版本诞生，从那时候开始，MySQL慢慢的被人所接受。1999年，Michael Widenius成立了MySQL AB公司，MySQL由个人开发转变为团队开发，2000年使用GPL协议开源。2001年，MySQL生命中的大事发生了，那就是存储引擎InnoDB的诞生！直到现在，MySQL可以选择的存储引擎，InnoDB依然是No.1。2008年1月，MySQL AB公司被Sun公司以10亿美金收购，MySQL数据库进入Sun时代。Sun为MySQL的发展提供了绝佳的环境，2008年11月，MySQL 5.1发布，MySQL成为了最受欢迎的小型数据库。在此之前，Oracle在2005年就收购了InnoDB，因此，InnoDB一直以来都只能作为第三方插件供用户选择。2009年4月，Oracle公司以74亿美元收购Sun公司，MySQL也随之进入Oracle时代。2010年12月，MySQL 5.5发布，Oracle终于把InnoDB做成了MySQL默认的存储引擎，MySQL从此进入了辉煌时代。然而，从那之后，Oracle对MySQL的态度渐渐发生了变化，Oracle虽然宣称MySQL依然尊少GPL协议，但却暗地里把开发人员全部换成了Oracle自己人，开源社区再也影响不了MySQL发展的脚步，真正有心做贡献的人也被拒之门外，MySQL随时都有闭源的可能……
近年来，不少程序员在吹捧MariaDB，抛弃MySQL。本文总结了一些 MariaDB强过MySQL的地方，分享给大家！
说说最近的一个案例吧，线上阿里云RDS上的一个游戏日志库最近出现了一点问题，随着游戏人数的增加，在线日志库的数据量越来越大，最新的日志库都已经到50G大小了，在线变更的时间非常长。
DB-Engines最近发布了2021年4月份的数据库排名。该网站根据数据库管理系统的受欢迎程度对其进行排名，实时统计了370种数据库的排名指数。前20名的排行情况详见下图：
最近又遇到了一次慢查把db（mariadb10)几乎打挂的案例，作为一个核心支付系统的技术负责人，真是每日如履薄冰。因为之前支付系统经常出问题，现在各个BG对支付系统都盯得很紧。这次要不是我及时让DB给暴力清理数据，没准又提一个P2故障；
MySQL的第八个版本蓄势待发，并有望于2018年发布。在MySQL 5.7.9的首个通用版本推出后的28个月内，MySQL 8发布了从8.0.0到8.0.4这五个候选版本。这些发布候选仅针对开发使用，而不应该生产系统中使用。因为这些候选版并不支持版本升级，用户可能会碰上候选版与一般可用（GA）版间存在数据格式不兼容的问题。
1、使用java的Calendar工具类获取到本月的第一天起始时间和最后一天结束时间。
以上只是简单的罗列一下MySQL中核心知识点，如果你对MySQL掌握不错，或许复习起来就很快。反之，每一个都是硬骨头，随便抓几个就够喝一壶了。
无论多么复杂的业务场景，一条数据的一生都体现在CRUD操作上——创建、查询、修改、删除。 正如人的生死轮回，数据亦是如此，一条数据随着时间的流逝，其价值也是在逐渐变小。 数据存在的价值则是在于它被使用的程度，在不同的系统中，人们对于不同时期的数据有着不同的需求。 比如12306、携程上的火车、机票订单，人们往往只关注30天之内的订单，而携程正是默认只保留30天的订单信息，超过30天的订单需要通过手机号查找。 携程订单 携程为什么要这么做？ 其实仔细想想不难明白，作为全国购票平台，每年数以亿计的订单，如果全
mysql支持的分区类型包括Range、List、Hash、Key，其中Range比较常用：
该文介绍了MySQL 8.0的新特性，包括对Unicode更好的支持、对JSON格式和文档的处理，以及一直以来呼吁增加的象window函数的功能等。
◆ 冷热分离 本文讲的第一个场景是冷热分离。简单来说，就是将常用的“热”数据和不常使用的“冷”数据分开存储。 本章要考虑的重点是锁的机制、批量处理以及失败重试的数据一致性问题。这部分内容在实际开发中的“陷阱”还是不少的。 首先介绍一下业务场景。 ◆ 1.1 业务场景：几千万数据量的工单表如何快速优化 这次项目优化的是一个邮件客服系统。它是一个SaaS（通过网络提供软件服务）系统，但是大客户只有两三家，最主要的客户是一家大型媒体集团。 这个系统的主要功能是这样的：它会对接客户的邮件服务器，自动收取发到几个
NFTScan 是一家多链 NFT 数据基础设施服务商，为 Web3 用户提供高效简洁的 NFT 资产搜索查询服务，为 Web3 开发者和新一代金融科技公司提供专业的 NFT API 数据服务。
其余相关文章，参见： “分库分表" ？选型和流程要慎重，否则会失控 本篇文章从广度上说明了分库分表组件的选型和流程，以及其优缺点。尤其对比了驱动层和代理(proxy)层的中间件特点。如果你面试的时候有如此见解，包面试官满意。
根据DB-Engines的数据，MySQL是全球最流行的开源数据库，并且在过去十多年中一直排名第二。MySQL推动了LAMP堆栈的崛起，并多年来一直是开发人员和数据库管理员的可靠伴侣。到2023年10月，版本5.7将达到终止生命周期状态，这意味着该版本将不再接收更新或安全补丁。
TiDB这个词，相信大家或多或少都曾经耳闻过，但是很多人觉得他是分布式数据库，自己的业务是使用mysql，基本使用不上这个技术，可能不会去了解他或不会去深入了解。最近一个月，基于实际业务的应用场景，从测试环境测试基础学习，到生产环境性能压测、高可用测试、故障测试等的学习，到今天TiDB终于完成了线上业务的承接使命，而这一切只是开始，而非终点；
我写这个系统的主要是目的为了学习python，我对于技术学习的态度始终是：眼过千遍不如手过一遍。其次的目的是找一个便宜点的合适的房子。有更好，没有也无妨，不耽搁我学习。
“7月登录表”里记录了7月登录的用户信息。“8月登录表”里记录了是8月登录的用户信息。
今天select * from 表名 where to_days(时间字段名) = to_days(now());昨天SELECT * FROM 表名 WHERE TO_DAYS( NOW( ) ) - TO_DAYS( 时间字段名) <= 1近7天SELECT * FROM 表名 where DATE_SUB(CURDATE(), INTERVAL 7 DAY) <= date(时间字段名)近30天SELECT * FROM 表名 where DATE_SUB(CURDATE(), INTERVAL 30
对于我来说，学习编程最简单也是最有效的方式就是写代码。所以去年我在学习python的时候，就从最基本的爬虫入手。快速过了网上的视频，之后就动手写代码。完成这个需求前前后后大约用了两个月，你说我现在精通python吗？屁，啥也不是，但是我现在还是能写代码。我还是一直表达的个人的观点：眼过千遍，不如手过一遍。
从标题可以看得出来，当时我们只做了分表；还是由于业务发展，截止到现在也做了分库，目前看来都还比较顺利，所以借着脑子还记得清楚来一次复盘。
如果这样存数据，对于用户量大的应用，db可能扛不住，比如 1000W 用户，一天一条，那么一个月就是 3 亿数据，非常庞大。
DATE_ADD(createTime,INTERVAL 1 DAY) 得到指定日期后一天的日期/把1改为任意数字就可以得到后N天的日期
微软子公司GitHub近日就上个月底持续时间超过8个小时的一连串故障发表了完整的事后分析报告，详细说明了数据库基础架构导致GitHub遭遇故障的确切原因，GitHub数据库出岔子不是第一次了。
分区就是将表的数据按照特定规则存放在不同的区域，也就是将表的数据文件分割成多个小块，在查询数据的时候，只要知道数据数据存储在哪些区域，然后直接在对应的区域进行查询，不需要对表数据进行全部的查询，提高查询的性能。同时，如果表数据特别大，一个磁盘磁盘放不下时，我们也可以将数据分配到不同的磁盘去，解决存储瓶颈的问题，利用多个磁盘，也能够提高磁盘的IO效率，提高数据库的性能。常见的分区类型有：Range分区、List分区、Hash分区、Key分区：
想进大厂，mysql不会那可不行，来接受mysql面试挑战吧，看看你能坚持到哪里？
虽然遇到这些插件的概率不高，我还是把这些插件的基本参数都列出来，到时候如果真遇到了，也不至于一头雾水。
可以看到，根据年、月、订单金额排序了，还多了一列order_rank，显示出了本条记录在本月的订单金额排名情况。
想进大厂，Mysql 不会那可不行，来接受 Mysql 面试挑战吧，看看你能坚持到哪里？
本文介绍了如何基于Falcon的Process进行大数据量ETL处理，并利用Oozie进行调度。通过在Falcon的Advanced Options中配置自定义的Shell脚本，可以实现对大数据量的ETL处理。同时，通过在Oozie中定义Sqoop Action，可以实现将数据抽取到Hive表中。Oozie会基于Falcon的Process定义生成对应的Action，并将其添加到Oozie Workflow中。最后，通过在Oozie Workflow中调用Sqoop Action，实现大数据量的ETL处理。
9 月初，我对 python 爬虫 燃起兴趣，但爬取到的数据多通道实时同步读写用文件并不方便，于是开始用起mysql。这篇笔记，我将整理近一个月的实战中最常用到的 mysql 语句，同时也将涉及到如何在python3中与 mysql 实现数据交换。
很多小伙伴在日常接触中接触国产数据库很少，大部分在开发应用上使用的是由甲骨文，微软等公司提供了MySQL，SQLserver。普通程序员很少能用到newSQl数据库，TiDB就是一种newSQL数据库，在大趋势下，向国际对接是避免不了的，但也存在一个问题，近期看到新闻国外某知名数据库厂商宣布称“暂停在俄罗斯的所有业务”，相信很多国内小伙伴的心情，绝不是隔岸观火，而是细思恐极。数据库产品一直都是国内人员的焦点话题，面对现如今全球的“非常时期”，国产数据库到底能不能支棱起来呢？今天呢我就带领大家认识国产数据库TiDB数据库。为什么要介绍TiDB呢，看图说话。
“增删改查”都是查找问题，因为你都得先找到数据才能对数据做操作。那存储系统性能问题，其实就是查找快慢问题。
1 大多数公司，对于Java初级开发的要求是，会用Spring Boot+JPA做增删改查
墨墨导读：事实上，关系型数据库今天已经形成了『两商用加两开源，并驾齐驱四天王』的整体格局。
请你编写 SQL 语句，对于每个员工，查询他除最近一个月（即最大月）之外，剩下每个月的近三个月的累计薪水（不足三个月也要计算）。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
