首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

快速安全清理MySQL binlog

一、问题提出 之前写过一篇名为“快速安全删除MySQL大表”的博客,讲解如何在不影响线上数据库服务的前提下删除大表。实际上清理MySQL binlog也会遇到同样的问题。...最初的做法是,每天凌晨2:30执行下面的操作清理10天前binlog: mysql -uroot -p123456 -s /data/3306/mysqldata/mysql.sock -e "purge...随着业务量增长出现了两点变化:一是数据库负载增加;二是由于磁盘空间紧张,原存储binglog的磁盘上也存储了MySQL数据。这种情况下,即便是在业务低峰期,每次执行清理任务时也会卡库。...事实证明这种方案行之有效,能够不影响数据库服务同时清理binlog。下面是相关脚本文件及其说明。...mysql mysql 1073742308 Aug 21 11:03 mysqlbinlog.026767 -rw-rw---- 1 mysql mysql 1073742288 Aug 21 11

1.8K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    MySQL 常见日志清理策略

    因此,定期清理这些日志是必要的,本篇文章我们一起来学习下如何清理 MySQL 中的日志文件。...例如,使用 purge binary logs to 'mysql-bin.000009' 来删除 mysql-bin.000009 之前的日志文件,或者使用 purge binary logs before...通用查询日志 (General Query Log)MySQL 的 general_log 是记录所有到达 MySQL 服务器的 SQL 语句的日志。...也可以使用 logrotate 功能来配置 general_log 自动轮转及清理。错误日志 (Error Log)错误日志记录 MySQL 服务器启动、关闭及运行时发生的错误及警告信息。...总结:本篇文章简单介绍了 MySQL 中六种常见日志及其清理策略,不同环境可以采用不同的清理策略,本文只是提供一种思路,方法各种各样,重要的是要根据实际情况制定合理的日志保留策略,并确保不会影响到数据库的正常运行和备份需求

    14710

    mysql 正确清理binlog日志

    mysq 正确清理binlog日志 前言: MySQL中的binlog日志记录了数据库中数据的变动,便于对数据的基于时间点和基于位置的恢复,但是binlog也会日渐增大,占用很大的磁盘空间,因此,要对...binlog使用正确安全的方法清理掉一部分没用的日志。...【方法一】手动清理binlog 清理前的准备: ① 查看主库和从库正在使用的binlog是哪个文件 ?...1 purge master logs to'mysql-bin.000022'; //删除指定日志文件的日志索引中binlog日志文件 注意: 时间和文件名一定不可以写错,尤其是时间中的年和文件名中的序号...使用该语法,会将对应的文件和mysql-bin.index中的对应路径删除。 【方法二】通过设置binlog过期的时间,使系统自动删除binlog文件 ?

    3.6K10

    如何彻底卸载清理MySQL

    我们因为各种各样的原因可能需要卸载MySQL或者卸载重装,但是如果MySQL不能清理干净的话是很容易出现问题的。本文就讲讲如何彻底的卸载MySQL,将MySQL从我们的电脑上清理干净。...清理注册表。 1. 卸载软件本身 首先就是把MySQL软件本身卸载掉,卸载的方式有很多种。可以通过各种软件管家卸载掉,也可以通过计算机自带的控制面板卸载掉。这一步很简单,不再赘述。 2....这里我们需要清理两个文件夹。...第一个是:C:\Program Files (x86)\MySQL, 第二个是:C:\ProgramData\MySQL,这里的ProgramData可能是隐藏的,我们需要在资源管理器中设置查看隐藏的文件...清理注册表 往往我们进行完上面的两个步骤,我们计算机上的mysql就已经完全删除了,这时进行重装和其他操作就不会有问题了,但是如果这样还是有问题的话,我们就要尝试清理注册表的信息。

    7.6K20

    mysql慢查询优化-内存清理

    前提介绍 同样的mysql,同样的查询,为啥在不同的服务器上的查询效率差别有10几倍 继上一篇索引优化后,在自己的服务器上已经从10几秒优化到了2s,以为万事大吉了, 谁知道,同样的操作,在客户的服务器上优化后...这让我开始怀疑客户服务器的内存使用 由于客户的mysql,当时我是使用docker镜像,所以一开始想到的解决方案是扩大docker容器的内存 但是后来一想,即使内存扩大了,保不住下次还会不够用,为啥一个小小的...mysql能把内存占满了, 不行,必须从mysql上解决根本问题,而不是一位的扩大内存 于是,我开始了如下操作: 解决过程 查看docker容器的cpu占用情况 image.png 神马?...image.png 查询存在的连接数 在mysql 输入 show processlist ;查询存在的连接数以及timeout的时间,可以帮助识别出有问题的查询语句 发现有好多造成查询慢的语句 mysql...wait_timeout过大有弊端,MySQL里大量的SLEEP连接无法及时释放,拖累系统性能; 设置过小,可能会遇到“MySQL has gone away”之类的报错 Linux系统中,默认是28800

    2.4K20

    MySQL数据清理有技巧,这么破

    比如一个对数据表做清理的操作,可能看起来就是做些delete操作,有什么好的办法和技巧呢。...当然这个过程中也会有大量的问题和细节需要确认,其中一个关键的问题是: 是否有线上维护窗口,以便集中进行数据清理。...所以我的目标是:在正常时间进行数据清理工作,而且对于业务无感知。...本着这个目标,我就得更加细致和认真一些,比如表test需要保留多长时间的数据,存在哪些时间字段,我们的清理和补录是基于哪些时间字段,我整理了下表: ? 可以看到整个清理的工作量还是比较大的。...执行清理之后的效果如何呢,可以看到清理的数据效果还是很不错的。 ?

    1.4K30

    MySQL数据清理的需求分析和改进

    昨天帮一个朋友看了MySQL数据清理的问题,感觉比较有意思,具体的实施这位朋友还在做,已经差不多了,我就发出来大家一起参考借鉴下。...首先这位朋友在昨天下午反馈说他有一个表大小是近600G,现在需要清理数据,只保留近几个月的数据。按照这个量级,我发现这个问题应该不是很好解决,得非常谨慎才对。...rename table,这是MySQL归档数据的一大利器,在其他商业数据库里很难实现。 但是为了保险起见,我说还是得看看表结构再说。结果看到表结构,我发现这个问题和我预想的完全不一样。...mysql> select max(Id) from test_data; +---------+ | max(Id) | +---------+ | 1603474 | +---------+ 1 row...按照这个思路来想,自己还有些成就感,发现这么大的一个问题症结,如果数据没有特别的存储,200万的数据其实也不算大,清理起来还是很容易的。

    1.5K50

    mysql 清理 relay log 和 bin log(1)

    前言 使用过 Mysql mha 的都知道,为了确保在故障切换的时候,有尽量多的数据用于恢复,mha 是建议关闭 relay_log 自动清理功能的 这个功能默认是开启的,因为一般情况下已经被 SQL...Thread 执行过的 Relay 日志是没有价值的,但是对于 mha 来说有用,因为它可以从多个 slave 的 Relay 日志中提取更接近 原master 的操作加以重放来尽量减少数据的丢失,如果自动清理...,最主要的就是,太消耗磁盘空间了,需要定期清理 如果手动来清理,就很麻烦,幸好这里有一个很好用的工具 purge_relay_logs,下面简单介绍一下它的用法 Tip: mha当前的最新版本为 MHA...relay-bin.000092 relay-bin.000142 relay-bin.000192 [root@h102 mysql]# ---- 清理 bin log 清理 bin log 相对简单...]# 现在只剩下 relay log 要清理了 ---- 清理 relay log [root@h102 data]# purge_relay_logs --user=root --password=xxxxxx

    4.1K60

    mysql binlog日志自动清理及手动删除

    image.png 说明 当开启mysql数据库主从时,会产生大量如mysql-bin.00000* log的文件,这会大量耗费您的硬盘空间。...如: mysql-bin.000001 mysql-bin.000002 mysql-bin.000003 mysql-bin.000004 mysql-bin.000005 有三种解决方法 1、 关闭...默认值为0,表示“没有自动删除” 此方法需要重启mysql,附录有关于expire_logs_days的英文说明 以上操作完之后记得重启数据库,当然也可以不重启mysql,开启mysql主从,直接在mysql...,执行以下SQL语句手动清除binlog文件 PURGE MASTER LOGS TO 'MySQL-bin.010'; // 清除MySQL-bin.010日志 PURGE MASTER LOGS...不过,如果从属服务器是休止的,并且您碰巧清理了其想要读取的日志之一,则从属服务器启动后不能复制。当从属服务器正在复制时,本语句可以安全运行。您不需要停止它们。

    7.2K10

    Linux-MySQL数据备份和定时清理

    最近接了个新需求,需要将我们经常使用的几个数据库,MySQL、influxdb在Linux系统上实现定时自动备份,比如每天备份一次,间隔31天清理31天之前备份的数据,研究了一下,准备先从MySQL实现...mysqldump,可以将需要的命令添加软链接,可以使用通配符 sudo ln -s /server/mysql/mysql-5.7.31-linux-glibc2.12-x86_64/bin/mysqldump...备份数据 有两种方式还原,第一种是在MySQL命令行中,第二种是使用shell完成还原 在系统命令行中,输入如下实现还原: mysql -uuser -hlocalhost -ppassword databases_name...< /test.sql 在登录进入mysql命令行中,通过source指令找到对应系统中的文件进行还原: mysql> source /test.sql 编写shell脚本维护备份的MySQL数据库文件...以下代码功能就是针对mysql进行备份,配合crontab定时任务,实现备份的内容为近10天内的每天的mysql数据库记录。

    1.9K20
    领券