首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

存储知识:数据一致性、分级存储、分层存储与信息生命周期管理

一、概述 数据一致性是指关联数据之间的逻辑关系是否正确和完整。问题可以理解为应用程序自己认为的数据状态与最终写入到磁盘中的数据状态是否一致。比如一个事务操作,实际发出了五个写操作,当系统把前面三个写操作的数据成功写入磁盘以后,系统突然故障,导致后面两个写操作没有写入磁盘中。此时应用程序和磁盘对数据状态的理解就不一致。当系统恢复以后,数据库程序重新从磁盘中读出数据时,就会发现数据再逻辑上存在问题,数据不可用。 二、Cache引起的数据一致性问题 引起数据一致性问题的一个主要原因是位于数据I/O路径上的各种Cache或Buffer(包括数据库Cache、文件系统Cache、存储控制器 Cache、磁盘Cache等)。由于不同系统模块处理数据IO的速度是存在差异的,所以就需要添加Cache来缓存IO操作,适配不同模块的处理速度。这些Cache在提高系统处理性能的同时,也可能会“滞留”IO操作,带来一些负面影响。如果在系统发生故障时,仍有部分IO“滞留”在IO操作中,真正写到磁盘中的数据就会少于应用程序实际写出的数据,造成数据的不一致。当系统恢复时,直接从硬盘中读出的数据可能存在逻辑错误,导致应用无法启动。尽管一些数据库系统(如Oracle、DB2)可以根据redo日志重新生成数据,修复逻辑错误,但这个过程是非常耗时的,而且也不一定每次都能成功。对于一些功能相对较弱的数据库(如SQL Server),这个问题就更加严重了。 解决此类文件的方法有两个,关闭Cache或创建快照(Snapshot)。尽管关闭Cache会导致系统处理性能的下降,但在有些应用中,这却是唯一的选择。比如一些高等级的容灾方案中(RPO为0),都是利用同步镜像技术在生产中心和灾备中心之间实时同步复制数据。由于数据是实时复制的,所以就必须要关闭Cache。 快照的目的是为数据卷创建一个在特定时间点的状态视图,通过这个视图只可以看到数据卷在创建时刻的数据,在此时间点之后源数据卷的更新(有新的数据写入),不会反映在快照视图中。利用这个快照视图,就可以做数据的备份或复制。那么快照视图的数据一致性是如何保证的呢?这涉及到多个实体(存储控制器和安装在主机上的快照代理)和一系列的动作。典型的操作流程是:存储控制器要为某个数据卷创建快照时,通知快照代理;快照代理收到通知后,通知应用程序暂停IO操作(进入 backup模式),并flush数据库和文件系统中的Cache,之后给存储控制器返回消息,指示已可以创建快照;存储控制器收到快照代理返回的指示消息后,立即创建快照视图,并通知快照代理快照创建完毕;快照代理通知应用程序正常运行。由于应用程序暂停了IO操作,并且flush了主机中的 Cache,所以也就保证了数据的一致性。 创建快照是对应用性能是有一定的影响的(以Oracle数据库为例,进入Backup模式大约需要2分钟,退出Backup模式需要1分钟,再加上通信所需时间,一次快照需要约4分钟的时间),所以快照的创建不能太频繁。 三、时间不同步引起的数据一致性问题 引起数据不一致性的另外一个主要原因是对相关联的多个数据卷进行操作(如备份、复制)时,在时间上不同步。比如一个Oracle数据库的数据库文件、 Redo日志文件、归档日志文件分别存储在不同的卷上,如果在备份或复制的时候未考虑几个卷之间的关联,分别对一个个卷进行操作,那么备份或复制生成的卷就一定存在数据不一致问题。 此类问题的解决方法就是建立“卷组(Volume Group)”,把多个关联数据卷组成一个组,在创建快照时同时为组内多个卷建立快照,保证这些快照在时间上的同步。之后再利用卷的快照视图进行复制或备份等操作,由此产生的数据副本就严格保证了数据的一致性。 四、文件共享中的数据一致性问题 通常所采用的双机或集群方式实现同构和异构服务器、工作站与存储设备间的数据共享,主要应用在非线性编辑等需要多台主机同时对一个磁盘分区进行读写。

03
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    LINUX运维常用命令详解二

    51、ln:创建链接文件    ln SRC DEST:创建硬链接    -s:创建软连接    -i:显示文件的inode号    -v:显示执行结果    硬件连接:        1、只能对文件创建,不能应用于目录,文件的硬链接次数为2        2、不能夸文件系统        3、创建硬链接会增加文件被连接的次数    符号连接:        1、可应用于目录        2、可以跨文件系统        3、不会增加被连接文件的连接次数        4、其大小为指定的路径所包含的字符个数 52、du     du:显示目录下的所有文件的大小         -s:显示目录大小         -sh:单位换算后显示 53、df     df:显示整个磁盘分区的使用情况         -h:显示空间大小 54、fdisk      fdisk:磁盘分区     fdisk /dev/sda      p:显示当前磁盘上的分区      n:创建一个新的分区      e:扩展分区      p:主分区      d:删除一个分区      w:保存退出      q:不保存退出      t:修改分区类型      l:显示所有支出的分区类型 55、partprobe     把新的分区同步到内核上去。 56、mkfs      mmkfs:创建文件系统      mkfs -t FSTYPE 指定分区      -t可以实现多种系统的格式化     如mkfs -t ext2 /dev/sda5 57、mke2fs       mke2fs:专门管理ext系列的文件的命令,不跟任何参数,指的是创建ext2       -j:指的是创建ext3类型文件系统       -b BLOCK_SIZE:指定块大小,默认为4096;可用取值为1024,2048或 4096       -L LABEL: 指定分区卷标;例如 mke2fs -L MYYY /etc/sda5       -m #:明确指定预留给超级管理员用的快熟百分比 mke2fs -m 3  /dev/sda5       -i #:指定为多少个字节的空间创建一个inode , 默认为8192;这里给出的数值应该为块大小的2^n被      mke2fs -i 4096  表示4096个字节创建一个inode       -F:强行创建文件系统;       -E:用于指定额外的文件系统属性;       -N#:指定inode个数; 58、blkid      blikd:查询或查看块设备的属性,其中有包含文件系统的信息 59、e2lable      e2lable:专门用于查看或定义卷标      查看卷标  e2label /dev/sda5      设定卷标  e2label 设备文件      卷标   :即实现设定卷标   e2label  /dev/sad6 YYY            (这里的设备文件即/dev/sda5) 60、tune2fs        tune2fs:调整文件系统的相关属性        -j:不损坏原有数据,将ext2升级为ext3,但是不能降级        -L LABLE:设定或修改卷标        -m #:调整预留百分比        -r #:预留块数        -o:设置默认挂载选项,其中有一个是acl,acl是一个功能,但需要挂载才能 使用,否则是不能用的        -c #:指定挂在次数达到#次之后进行自检,指定0或-1表示关闭此功能,不自检;        -i #:可以指定每挂载使用多少天后进行自检:0或-1表示关闭此功能;        -l:显示超级块内容 61、dumpe2fs       dumpe2fs:以显示文件系统中超级块信息或文件的属性信息,同上面的tun2fs -l 选项类似,都是很重要的命令,其中也显示超级块的信息,FREE是空闲的意思      -h:表示只显示超级块中的信息 62、fsck     fsck:检查并修复Linux文件系统     -t TYPE:指定文件系统类型     -a:自动修复 63、e2fsck     e2fsck:专门用来检查修复ext2或ext3的命令     -a或-p:自动修复;     -f :强行修复;   64、mount     mount:挂载文件系统     mount 设备 挂载点     设备  设备文件:/dev/**  卷标:LABLE="" UUID:UUID=""     挂载点:挂载点就是个目录     1,此目录没有被

    02

    关注这些腾讯公众号,学技术还能领价值万元的福利

    来了?鹅厂小编们等你很久了!咱们闲话少叙,今天,10位小编携手为你奉上10份超级大礼: 书籍、技术教程、鹅厂公仔、腾讯云代金券……每位朋友都可以免!费!参与抽奖! 01 技术书籍 本次奖池书单涵盖小程序开发、数据分析、人工智能、编程等多个领域。一份技术人获益的典藏书单,强烈推荐,借助书籍希望大家能够由浅入深、循序渐进的学习新知,事半功倍,少走弯路。赠送书单明细请翻至文末查看哦~ 02 实战教程 鹅厂资深数据库专家录制的数据库实战视频课程,教你从青铜到王者学习数据库;小程序云开发教程,含源码,教你7天打造流

    04

    10个鹅厂官微联合宠爱你,价值万元的疯狂福利手慢无!

    来了?鹅厂小编们等你很久了!咱们闲话少叙,今天,10位小编携手为你奉上10份超级大礼: 书籍、技术教程、鹅厂公仔、腾讯云代金券……每位朋友都可以免!费!参与抽奖! 01 技术书籍 本次奖池书单涵盖小程序开发、数据分析、人工智能、编程等多个领域。一份技术人获益的典藏书单,强烈推荐,借助书籍希望大家能够由浅入深、循序渐进的学习新知,事半功倍,少走弯路。赠送书单明细请翻至文末查看哦~ 02 实战教程 鹅厂资深数据库专家录制的数据库实战视频课程,教你从青铜到王者学习数据库;小程序云开发教程,含源码,教你7天打造流

    06

    关注这些腾讯公号,助你走上人生巅峰(送价值万元的福利)

    来了?鹅厂小编们等你很久了!咱们闲话少叙,今天,10位小编携手为你奉上10份超级大礼: 书籍、技术教程、鹅厂公仔、腾讯云代金券……每位朋友都可以免!费!参与抽奖! 01 技术书籍 本次奖池涵盖数据分析、人工智能、编程等多个领域。一份技术人获益的典藏书单,强烈推荐,借助书籍希望大家能够由浅入深、循序渐进的学习新知,事半功倍,少走弯路。赠送书单明细请翻至文末查看哦~ 02 实战教程 鹅厂资深数据库专家录制的数据库实战视频课程,教你从青铜到王者学习数据库;小程序云开发教程,含源码,教你7天打造流量过亿的小程序,

    05

    关注这些腾讯公号,助你走上人生巅峰(送价值万元的福利)

    来了?鹅厂小编们等你很久了!咱们闲话少叙,今天,10位小编携手为你奉上10份超级大礼: 书籍、技术教程、鹅厂公仔、腾讯云代金券……每位朋友都可以免!费!参与抽奖! 01 技术书籍 本次奖池涵盖数据分析、人工智能、编程等多个领域。一份技术人获益的典藏书单,强烈推荐,借助书籍希望大家能够由浅入深、循序渐进的学习新知,事半功倍,少走弯路。赠送书单明细请翻至文末查看哦~ 02 实战教程 鹅厂资深数据库专家录制的数据库实战视频课程,教你从青铜到王者学习数据库;小程序云开发教程,含源码,教你7天打造流量过亿的小程序,

    06

    公共云存储服务的可扩展性和性能

    公共云存储服务供应商可帮助企业用户免于承担物理硬件及其相关成本的负担,其中包括能源、冷却以及服务器维护等。 很多企业都在使用公共云、私有云以及混合云这样的一个组合,但是其中的公共云存储服务是尤其吸引人的。它的成本效益高,它可提供可扩展性、可靠性以及性能优势。 使用公共云存储服务可以让企业将相关工作外包给供应商,从而从繁重的管理任务重脱身出来,并可以减少与支持物理硬件相关的成本开支。企业用户的数据是存储在供应商的数据中心内的,而供应商管理和维护着其数据中心的方方面面,具体包括能源、冷却和服务器维护等。因此,企

    09
    领券