开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

生产环境mysql数据库归档

生产环境MySQL数据库归档是指将已经不再频繁使用的数据从生产数据库中归档到其他存储介质，以减轻数据库负载、提高性能，并且满足法规合规要求。

分类：

归档数据库：存储已经不再频繁使用的数据，如历史数据、备份数据等。
生产数据库：用于存储当前正在使用的数据，提供实时的访问和写入操作。

优势：

数据库性能优化：通过将不再频繁使用的数据归档，减轻了生产数据库的负载，提高了数据库的读写性能。
法规合规要求：对于一些行业，法规和合规要求可能需要长时间保留数据，通过归档可以将数据存储在相应的介质中，并进行备份，以满足相关要求。
成本优化：生产数据库的存储成本通常较高，通过归档，可以将不常用的数据存储在成本更低的介质上，如对象存储服务，降低了存储成本。

应用场景：

历史数据存档：对于一些数据量庞大的系统，随着时间的推移，过多的历史数据可能会影响系统性能，归档可以将这些历史数据存储在其他介质上，以保持数据库的高性能。
数据备份：归档可以作为数据备份的一部分，确保数据的长期保存和可靠性。
法规合规要求：对于一些需要长时间保留数据的行业，如金融、医疗等，归档是满足法规和合规要求的一种方式。

推荐的腾讯云相关产品：腾讯云提供了多个产品和服务来支持数据库归档，其中包括：

腾讯云对象存储（COS）：用于存储归档数据的可扩展对象存储服务，提供高可靠性和低成本的存储能力。链接地址：https://cloud.tencent.com/product/cos
云数据库TDSQL：支持数据归档功能，可将历史数据归档至对象存储服务，以减轻数据库负载和提高性能。链接地址：https://cloud.tencent.com/product/dcdb
弹性MapReduce（EMR）：用于处理大规模数据的云计算服务，可与对象存储服务结合，进行数据归档和分析。链接地址：https://cloud.tencent.com/product/emr

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

一次生产环境mysql迁移操作（一）数据归档

背景在项目过程中我们经常要对数据库进行迁移、归档、拆分等等操作，现在描述下几种方案 mysqldump 该命令可以指定导出数据库，该命令可能用时很久 cp 直接拷贝mysql数据文件，这里会影响业务需要下线...mysql 使用innobackupex 工具进行备份，这个不影响业务，速度稍快先打lvm快照，然后从快照中备份数据，节省时间我们有需要将物理盘上的mysql迁移到ssd上，先说一下生产环境一直有数据产生...下面描述下操作步骤环境准备 1、创建物理卷 ?...cp -af remotepath /var/lib/mysql chown mysql:mysql /var/lib/mysql 执行完上面步骤后，再开始进行归档操作归档步骤 1、停止mysql.../mnt/mysql_temp lvremove /dev/vgssd/mysql_backup 定时归档暂定为30天，这样才能备份所有数据。

1.8K1 0

从MYSQL 数据库归档到归档设计

我见到过的，听到过的数据库归档的方法有以下几种 1 数据通过人工的手段来进行清理，直接将表换名字，然后在重建一个新的表，承接数据。...2 数据通过MYSQL dump 或者其他的备份方式，将数据备份出来，在将数据恢复到数据归档库中，然后将备份的数据直接手动清理掉，这样的做法速度也很快，对业务的影响也比较小，基本上可以算是透明的方式了...下面就是一个MYSQL 针对一个数据库表归档的案例（这个案例也是有缺陷的，但目前是秉承着够用就好，以及时间成本的原则）首先设计一个归档要考虑的问题如下 1 归档表的大小，以及每日最大，或最小的归档数据量...以下以最简单的自动化的方案来讲下图是基于案例来讲的因为数据库是MYSQL 所以考虑了归档一次是多大的批量，避免归档数据量过大的时候将生产库hang 死，另外配置表主要的功能是有两个 1 限制一次拷贝和清理的数据量...这样归档有没有缺点，当然有，缺点马上就可以说出几个 1 为什么还要在本地机归档数据，不应该是传送到其他机器上吗 2 为什么不设置每次归档的数量限制（每次限制操作的行数），这对MYSQL不是很用吗，为什么要写死

5K4 1

生产环境mysql用户以及权限规划

原则：为生产库建立不同的用户管理用户业务用户管理用户：超级管理用户、dba运维用户、备份用户、监控用户、复制用户 (克隆用户) 业务用户：每个业务模块一个用户，命名可以是user_业务模块名只读查询用户...：允许开发人员定位问题查询生产库的只读权限权限分配原则：根据最小原则给每个用户满足需求的最小权限，要是不够再增加 mysql用户和权限牵涉到的表 user : 包含用户账户，全局权限 db: 数据库级别的权限表...replication clinet replication slave show databases shutdown super create tablespace usage grant option 数据库级别权限...：授权方式可以*.* db.* create create routine create temporary tables drop loack tables references 数据库对象级别的权限...账号访问控制认证第一个阶段：账号和密码认证第二个阶段：权限检查用户认证过程中mysql会把用户权限表加载到内存中账号的匹配先按照主机名字段排序，然后按用户名排序，用户账号根据排序后信息进行匹配

1.7K5 1

技术分享 | MySQL 生产环境 GROUP BY 优化实践

1案例介绍首先，我们看一个生产环境上 GROUP BY 语句的优化案例。...2环境准备对于 GROUP BY 在使用索引上的优化，分为两种情况讨论：表上无索引。执行时，会生成临时表进行分组。可以通过索引来优化，来避免使用临时表。表上有索引。...6参考链接 https://dev.mysql.com/doc/refman/5.7/en/group-by-optimization.html https://dev.mysql.com/blog-archive...https://ost.51cto.com/posts/11914 《高可用 MySQL》https://www.oreilly.com/library/view/high-performance-mysql.../9780596101718/ch04.html 本文关键字：#MySQL# #SQL优化# #GROUP BY#

491 0

RAC 环境下修改归档模式

RAC环境下的归档模式切换与单实例稍有不同，主要是共享存储所产生的差异。...在这种情况下，我们可以将RAC数据库切换到非集群状态下，仅仅在一个实例上来实施归档模式切换即可完成RAC数据库的归档模式转换问题。...1、主要步骤：备份spfile，以防止参数修改失败导致数据库无法启动修改集群参数cluster_database为false 启动单实例到mount状态将数据库置于归档模式(alter database...archivelog/noarchivelog) 修改集群参数cluster_database为true 关闭单实例启动集群数据库 2、环境 oracle@bo2dbp:~> cat /...,注意该命令在单实例下等同于alter system switch logfile -->在rac环境下则不同，那就是所有实例上的current日志都将会被归档 SQL> alter system

4782 0

推荐的生产环境数据库发布流程

MySQL数据库安全权限控制管理制度与流程控制项目开发制度流程开发环境 ---→功能测试 ---→ RDS实例上线，通过较为完善的项目开发流程控制，防止很多潜在的问题隐患发生。...数据库发布流程（分为DDL/ DML，DBA 只负责生产环境DDL发布，DML由开发人员自行发布）涉及到生产数据库重大变更（比如大表加字段，索引，批量数据刷新），需邮件到技术总监以及DBA，判断业务是否允许...，完成上述数据库更改。...涉及到生产数据库小规模变更，直接发给DBA，抄送开发负责人等。...ddl 在提交至预发布环境后钉钉通知DBA，由DBA对 ddl 进行审核（create, alter 等），如有问题驳回修改后发布至预发布环境。

8952 0

记一次生产环境MySQL数据库的备份与还原

欢迎转载，转载请注明出处，谢谢一、背景公司的生产环境某些应用的数据库是部署在VMWare平台上的，为了节约成本，领导现考虑将全部数据迁移至居于KVM的CAS平台。...二、环境 2.1备份主机环境 [root@GeekDevOps-DB1 ~]# hostnamectl Static hostname: GeekDevOps-DB1 Icon...o:centos:centos:7 Kernel: Linux 3.10.0-327.el7.x86_64 Architecture: x86-64 2.2还原主机环境...CHARACTER SET utf8; Query OK, 1 row affected (0.00 sec) 4.2为创建好的数据库授权给用户GeekDevOps_gsms。...> flush privileges; Query OK, 0 rows affected (0.00 sec) mysql> quit Bye 4.3还原数据库。

1.1K4 0

生产环境数据库并发数的调整

在开发和测试时，我们往往不会很在意数据库相关的一些并发数的配置，因为开发和测试时，系统的并发量并不会很大，因此，是否正确设置这些参数也不会对结果造成什么影响但是，上生产环境后，系统的并发量大大提高，...这时，没有注意数据库的并发数配置的话就会使数据库成为系统最终的并发瓶颈。...根据我在实际项目中一段时间的并发测试后，发现关于数据库并发数需要配置的几个地方，希望跟大家分享一下，能少走一些弯路 数据库并发配置查看mysql数据库的服务器的最大连接数 show variables...修改mysql配置文件my.cnf max_connections = 3000 尽量保持 Max_used_connections/max_connections = 85%左右修改程序中数据源的配置...（这个很重要，我之前就是忘记修改这里而只改了数据库，导致数据库出现的历史并发数一直上不去） <property name

3731 0

【笔记归档】mysql学习笔记

which mysqld 查看路径配置文件： /etc/my.cnf 2.使用某数据库 use 库名 #mysql安装完成后默认建立mysql...、表、DB信息 show databases; show tables; select database(); # 找出当前选了哪个数据库...查看建表语句 ##语法顺序 select|distinct > from > where > group by > having > union > order by 5 创建并使用数据库...创建数据库 mysql> CREATE DATABASE menagerie; 【Unix下，数据库名称是区分大小写的】使用数据库 mysql> use...menagerie 登陆时直接选择数据库 shell> mysql -h host -u user -p menage 【menage为库名】

9193 0

webpack开发环境和生产环境_webpack开发环境和生产环境

前言如果我们需要使用webpack，就需要依赖node环境 nvm node npm webpack@cli webpack nvm安装 nvm是一个用来管理node版本的工具。...https://raw.githubusercontent.com/nvm-sh/nvm/v0.38.0/install.sh | bash 2.创建nvm文件夹 mkdir ~/.nvm 3.配置环境变量...编辑环境 vim ~/.zshrc 在文件最后写入环境变量 export NVM_DIR="$HOME/.nvm" [ -s "/usr/local/opt/nvm/nvm.sh" ] && ....3.安装完成后，还需要配置环境变量。在我的电脑->属性->高级系统设置->环境变量->系统环境变量->Path下新建一个，把nvm所处的路径填入进去即可！

2.2K2 0

在生产环境中修改MySQL库表结构

背景如果我们需要在生产环境中修改MySQL数据库中某个库表的结构。那么，需要考虑哪些要点，才能确保不会出问题呢？碰到的问题这里先描述一下我在生产环境MySQL数据库中修改库表结构时遇到的问题。...在开发过程中，我发现MySQL中某个库表需要添加一个字段，比如库表：需要给Sname后面添加一个字段：Sheight。...alter table practice.Student wait 100 add column Sheight int(4) not null default 0 comment '"身高" 总结在生产环境中变更...MySQL数据库中库表结构是一件比较有风险的事情，所以一定要三思而后行，避免引起任何可能的线上事故。

2.2K2 0

mysql生产环境安装部署配置（专业版）

mysql安装方式有多种 1.rpm包可以用yum安装 2.二进制包解压安装 3.源码编译安装 4.docker镜像方式按照生产环境安装建议使用第二种二进制包安装如下操作使用mysql8.0.18...在centos7上安装作为生产环境安装首先要调整操作系统环境：调整文件句柄和进程数 vim /etc/systemd/system.conf centos7调整如下2个值 #DefaultLimitNOFILE...tcp_max_syn_backlog = 819200 net.core.netdev_max_backlog = 400000 net.core.somaxconn = 4096 #解决time_wait过高导致数据库连接不上...推荐使用xfs文件系统 io调度 SAS :deadline SSD&PCI-E: noop 规划mysql安装： 1.下载指定版本的msyql数据库 [root@localhost local]#.../mysqld --defaults-file=/data/mysql/mysql3312/my3312.cnf --user=mysql & --initialize 初始化生产随机密码在error.log

3.1K5 1

DG环境数据库RMAN备份策略制定全库备份归档备份删除历史文件夹删除归档

DG环境数据库RMAN备份策略制定: 主库(Primary) 全库备份归档备份删除历史文件夹备库(Standby) 删除归档引用说明主库(Primary) $ crontab -l 0...disk; crosscheck backupset; delete noprompt expired backupset; delete noprompt obsolete; exit EOF 归档备份...-mtime +7 | xargs rm -rf 备库(Standby) $ crontab -l 0 3 * * * /usr2/del_arch/del_arch.sh 删除归档 more...，具体根据自己的归档文件格式来匹配，关键是匹配日志的sequence no。...del_seq=$(( $del_seq + 1 )) done echo "删除归档日志结束：`date`……">>$LOG_FILE #清楚controlfile中信息 $ORACLE_HOME

1.3K1 0

惊心动魄-生产环境Mysql启动失败

一、问题描述 1、客户数据库从服务器，套接字丢失/tmp/mysql.sock，导致mysql 直连本地提示访问拒绝 2、正常解决方法：需要人为重启动数据库。...，这台机器原先是mysql5.6 ，后来升级至5.7(采用的是二进制安装) mysql5.6安装路径：/usr/local/mysql mysql5.7安装路径：/usr/local/mysql-5.7.16...所以我修改/etc/profile的环境变量 export PATH=....$PATH:/usr/local/mysql-5.7.16-linux-glibc2.5-x86_64/bin 启动数据库错误问题依旧。。。。。。...& 三、解决方法根据提示：mysql5.7的mysqld_safe启动时,引用的mysql5.6动态库，是不是因为环境变量之类有影响。

1.2K4 0

MYSQL 生产环境字段更改的failed的问题

早上看到微信一个银行的同学问了小问题，希望他不要背锅，具体问题是MYSQL 一个50G的表要更改字段，将一个字段从varchar(3) 改成varchar(6). MYSQL 5.7 官版。...可能原因如下 1 DDL ONLINE 不阻塞 DML 但并没有说，不会不阻塞 DDL 的操作 2 测试环境比较单纯，可能测试的时候，对表并没有其他的复杂的操作所以还是那句话，数据库的问题，一定要想的复杂点...有些公司操作ALTER 语句的并不是人工，而是通过购买（或开源）的一个所谓的 “自动化”工具来的，谁也不知道在故障发生的一刻，做了什么，同时不能复制的，就是当时的生产环境到底有没有大事务，并且就对那张表进行了什么操作...也注定 DB的工作，是一件需要小心小心小心的工作，因为生产环境一定有你不清楚的环境，而这些可能不清楚的环境，就会让某次“信心满满”的Action Failed....注：到目前为止MYSQL 在修改字段方面，对比其他数据库还是要注意的地方多多，当然MYSQL 8 已经添加了 instant 让修改字段变得更让人放心。

1.8K3 0

糟了，生产环境MySQL主从数据库不一致怎么办？！

自开源半年多以来，已成功为十几家中小型企业提供了精准定时调度方案，经受住了生产环境的考验。...问题今天发现Mysql的主从数据库没有同步先上Master库： mysql>show processlist; 查看下进程是否Sleep太多。发现很正常。...mysql.bak.sql 这里注意一点：数据库备份一定要定期进行，可以用shell脚本或者python脚本，都比较方便，确保数据万无一失。...备份文件传到从库机器，进行数据恢复 scp mysql.bak.sql root@192.168.128.101:/tmp/ 5.停止从库的状态 mysql> stop slave; 6.然后到从库执行...mysql命令，导入数据备份 mysql> source /tmp/mysql.bak.sql 7.设置从库同步，注意该处的同步点，就是主库show master status信息里的| File|

1.2K3 1

MySQL归档 pt-archiver 工具

删除或归档一张大表，导出文件等，可以进行主从同步数据 [mysql@mysqlt1 bin]$ ....增加该值可以提升归档性能。...[mysql@mysqlt1 bin]$....，源表不删除，批量插入 [mysql@mysqlt1 bin]$ ....10常用的命令：归档到另一个数据库，源表删除，批量删除和插入，每1000次修改进行提交。跳过错误并且指定字符集连接 [mysql@mysqlt1 bin]$.

1.5K0 0

生产环境下的终极指南：在生产环境部署 Nacos 集群和高可用 MySQL 使用 Docker

在生产环境部署 Nacos 集群和高可用 MySQL 使用 Docker 前言在本教程中，我们将详细介绍如何使用 Docker 和 docker-compose 在生产环境中部署 Nacos 集群和高可用...摘要：本教程详细指导了如何在生产环境中使用 Docker 和 docker-compose 部署 Nacos 集群和高可用 MySQL。...然而，如何在生产环境中稳定、安全地部署 Nacos 集群和其相关的数据库是一个需要深入考虑的问题。本教程旨在为你提供一个明确、全面的解决方案。...在生产环境中，考虑使用 MySQL 高可用集群或主从复制来增加数据的稳定性和可用性。根据具体需求和资源，可以考虑调整容器的内存和 CPU 限制。...生产环境中的数据是非常宝贵的，因此确保所有通信都是安全的非常重要。使用防火墙或安全组规则，仅允许从特定 IP 或 IP 范围访问 Nacos 和 MySQL。

9032 0

生产Mysql数据库数据恢复实战过程

1 实战环境介绍线上环境 mysql数据库一主多从的架构，主写从读进行读写分离，专用从库做数据备份，每天0点全备一次，12点增量备份一次，初始阶段数据量很小的情况按此方案，后续数据量大，读写频繁时...，再进行相关调整，增加增量备份频次系统环境 [root@mysql-1 ~]# cat /etc/redhat-release CentOS release 6.8 (Final) [root@mysql...-1 ~]# uname -r 2.6.32-642.el6.x86_64 [root@mysql-1 ~]# mysql -v mysql Ver 14.14 Distrib 5.7.17, for...2 模拟线上数据写入 数据库同步完成，开启3307从库的binlog日志功能查看目前的日志文件 ? 写入数据测试同步 ? ? ? 注：查看日志文件修改时间发现有数据写入此时执行全备文件 ?...此时发现数据库数据出现问题，某个数据无法访问了，需要进行恢复 3 恢复数据数据恢复具体操作如下 1、停止主从同步，应用与数据库的读写操作，防止数据再次写入 ?

2.4K2 0

MySQL审计数据归档演示

作者：Mike Frank 译：徐轶韬在此博客中，我将演示如何在许多mysql实例之间将审计日志进行合并归档。...将这些行从已审计的数据库插入到审计数据归档的MySQL数据库中。如您所见，mysqlx API将使事情变得更加简单。一些事实。...首先让我们以管理员身份登录到归档MySQL服务器实例上–我将使用root。整个示例都需要使用mysql shell。它包括用于从目标服务器提取审计数据进行计划批处理归档的python。...步骤1 –审计归档数据库设置。...这将记录很多内如，如果出于在测试环境中查看这项工作的目的，这是合理的。在生产中，您可能会希望更具选择性。

8754 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭