什么是卷影拷贝? 从Windows XP SP2和Windows Server 2013开始,微软就向Windows操作系统中引入了一项名叫卷影拷贝的服务(Volume Shadow Copy Service-VSS)。这种服务允许Windows系统以自动或手动的方式对文件或磁盘卷宗的当前状态进行备份(或快照),需要注意的是,在这个过程中,即使文件处于打开状态下该服务仍然可以直接进行文件备份。 当这些备份文件被创建之后,它们会被保存在一个特殊的容器中,即卷影拷贝(Volume Shadow Copy)。
作为最常用的本地数据保护手段,快照已经成为企业级存储阵列上的必备功能之一,主要用于在线数据备份与恢复,可防范逻辑故障风险,比如病毒攻击、文件格式损坏、系统崩溃以及误删除操作等。
在Hadoop集群中,数据文件是以Block的方式存储在HDFS上,而HDFS上数据的名称,副本存储的地址等都是通过NameNode上的元数据来保存的。Hive的数据库和表的数据也是保存在HDFS中,而Hive的元数据metastore则保存在关系型数据库中。这些文件和数据如果丢失或者损坏,都会导致相应的服务不可用,Hadoop集群可以启用某些组件和服务的高可用或者备份,来应对可能出现数据损坏问题。但是在集群需要迁移,集群需要扩容或者缩容,或者其他情况,集群可能会面对数据安全风险的时候,我们可以通过主动备份这些数据,来保证数据安全。本文主要讲述如何备份NameNode元数据,如何备份MariaDB元数据库,如何备份HDFS中的数据,以及如何从这些备份中恢复。
Longhorn 设计有两层:数据平面(data plane)和控制平面(control plane)。Longhorn Engine 是存储控制器对应数据平面,Longhorn Manager 对应控制平面。
模板类似于生活中的模具,可以根据模具制作出很多一模一样的产品。模板在计算机中应用是比较多的,用户可以根据模板去批量生成应用。
对于大部分文件系统来说,在磁盘上创建好文件系统,然后再挂载到系统中去就完事了。但对于 Btrfs 来说,除了在格式化和挂载的时候指定不同的参数外,还支持很多其他的功能。比如:管理多块硬盘、支持 LVM 和 RAID 等,具体的可以参考它的「官方文档」或者「Linux 下常见文件系统对比」。
客户:小 D 啊,SOS!昨天我们给一台 MD 存储进行硬盘扩容,不知道哪一步出了问题,服务器识别不到存储的数据卷了!这些数据千万不能丢啊,里面存放了近几年的设计图纸,整个设计部现在都要快瘫痪了!
Git 不按照SVN那样对待或保存数据。 反之,Git 更像是把数据看作是对小型文件系统的一组快照。 每次你提交更新,或在 Git 中保存项目状态时,它主要对当时的全部文件制作一个快照并保存这个快照的索引。 为了高效,如果文件没有修改,Git 不再重新存储该文件,而是只保留一个链接指向之前存储的文件。 Git 对待数据更像是一个 快照流。
Git 不按照SVN那样对待或保存数据。 反之,Git 更像是把数据看作是对小型文件系统的一组快照。每次你提交更新,或在 Git 中保存项目状态时,它主要对当时的全部文件制作一个快照并保存这个快照的索引。为了高效,如果文件没有修改,Git 不再重新存储该文件,而是只保留一个链接指向之前存储的文件。Git 对待数据更像是一个 快照流。
Kubernetes v1.12引入了卷快照(volume snapshot)支持作为alpha功能。在Kubernetes v1.13,它仍然是alpha功能,但增加了一些强化和一些重大更改。这篇文章总结了这些变化。
本文将从三个方面介绍Elasticsearch索引生命周期管理的特性,首先会介绍ES索引生命周期管理的基本原理,其次会通过一个常见的日志场景来一步步配置索引生命周期管理,最后向大家介绍在日常的ES运维工作中遇到的关于索引生命周期管理常见的问题及解决方法。
如果你创建了多于一个的虚拟机快照,那么,你将有多个还原点可以用于恢复。当你创建了一个快照,那快照些现在可写的在那个点上就变成了只读的。使用in-file delta技术就能创建新文件记录所有的关于原始磁盘文件的变更(delta)。
数据库快照是数据库(称为“源数据库”)的只读静态视图。在创建时,每个数据库快照在事务上都与源数据库一致。在创建数据库快照时,源数据库通常会有打开的事务。在快照可以使用之前,打开的事务会回滚以使数据库快照在事务上取得一致。
场景描述:Flink本身为了保证其高可用的特性,以及保证作用的Exactly Once的快速恢复,进而提供了一套强大的Checkpoint机制。这个机制在原理是什么?有哪些需要注意的呢?
一、什么是快照? 快照可保存虚拟机在特定时刻的状态和数据。 • 状态包括虚拟机的电源状态(例如,打开电源、关闭电源、挂起)。 • 数据包括组成虚拟机的所有文件。这包括磁盘、内存和其他设备(例如虚拟网络接口卡)。 虚拟机提供了多个用于创建和管理快照及快照链的操作。通过这些操作,我们可以创建快照、还原到链中的任意快照以及移除快照。
LVM动态卷管理,可以将多个硬盘和硬盘分区做成一个逻辑卷,并把这个逻辑卷作为一个整体来统一管理,动态对分区进行扩缩空间大小,安全快捷方便管理
想必大家都听说过一个笑话:一个程序员去公司面试,面试官让他随便写个shell脚本看看 结果程序员在公司机器上写了个简单的 rm -rf /*
一、前言 本文主要通过实验方式展现对Glusterfs的一些配置与操作,仅供技术参考,不可作为生产上的指导。 本文不涉及Glusterfs的基本概念介绍,默认读者已经对Glusterfs有所认知。 全文的实验中,所有节点如果没有关闭firewalld,就需要添加相应端口和服务的防火墙规则,本文基于所有节点firewalld关闭进行的。 在glusterfs中,对volume参数的修改,大多需要将volme umount,修改参数完毕后,再mount。 二、调优 红帽 Gluster 存储附带两个已调优的
LVM逻辑卷管理是Linux对磁盘分区进行管理的一种机制,普通磁盘无法实现动态扩展,而LVM就是将物理磁盘融合成一个巨大的存储池,用户可以按需求动态的调整磁盘的容量,使磁盘容量更好的被利用。
mongodb数据备份和还原主要分为二种,一种是针对于库的mongodump和mongorestore,一种是针对库中表的mongoexport和mongoimport。
ZFS文件系统的英文名称为Zettabyte File System,也叫动态文件系统(Dynamic File System),是第一个128位文件系统。最初是由Sun公司为Solaris 10操作系统开发的文件系统。作为OpenSolaris开源计划的一部分,ZFS于2005年11月发布,被Sun称为是终极文件系统,经历了 10 年的活跃开发。而最新的开发将全面开放,并重新命名为 OpenZFS。
在了解Zookeeper之前,需要对分布式相关知识有一定了解,什么是分布式系统呢?通常情况下,单个物理节点很容易达到性能,计算或者容量的瓶颈,所以这个时候就需要多个物理节点来共同完成某项任务,一个分布式系统的本质是分布在不同网络或计算机上的程序组件,彼此通过信息传递来协同工作的系统,而Zookeeper正是一个分布式应用协调框架,在分布式系统架构中有广泛的应用场景。
您可以通过 df 命令查看数据盘的使用情况,以及文件系统被挂载的位置。例如:df –lh
使用libguestfs Linux工具可以在虚拟机无法启动的情况下对虚拟机内部进行检查。
状态在 Flink 中叫作 State,用来保存中间计算结果或者缓存数据。根据是否需要保存中间结果,分为无状态计算和有状态计算。对于流计算而言,时间持续不断地产生,如果每次计算都是相互独立的,不依赖于上下游的事件,则是无状态计算。如果计算需要依赖于之前或者后续的事件,则是有状态计算。State 是实现有状态计算的下的 Exactly-Once 的基础。
在Prometheus中,存储时间序列数据的是它自带的时间序列数据库,也被称为Prometheus存储引擎(Prometheus Storage Engine)。Prometheus存储引擎具有以下特点:
1.virsh查看/管理虚拟机 问题 本案例要求熟悉KVM虚拟化的virsh管理工具的的基本使用,从命令行来操作虚拟机,完成以下基本任务: 1)查看KVM服务器信息 2)列出有哪些虚拟机、指定虚拟机的状态 3)基本的开关机操作 4)将虚拟机设置为自动运行 方案 virsh命令行管理的常见用法: 1)virsh:直接进交互模式 2)virsh nodeinfo:查看KVM节点(服务器)信息 3)virsh list:列出正在运行的虚拟机 4)virsh list –all:列出所有虚拟机(包括未启动的) 5)virsh dominfo 虚拟机名称:查看指定虚拟机的信息 6)virsh start 虚拟机名称:将指定的虚拟机开机 7)virsh reboot 虚拟机名称:将指定的虚拟机重启 8)virsh shutdown 虚拟机名称:将指定的虚拟机正常关机 9)virsh destroy 虚拟机名称:将指定的虚拟机强制关机(相当于拔电源) 10)virsh autostart 虚拟机名称:将指定的虚拟机设置随KVM自动开机 11)virsh autostart –disable 虚拟机名称:禁止自动开机 步骤 实现此案例需要按照如下步骤进行。 步骤一:直接使用virsh交互模式 执行不带任何参数的virsh命令,即可进入交互模式。在virsh交互模式下,可以快速、连续地执行多条虚拟机管理指令,不用每次都指定virsh,最后再exit退出;这种方式与在Shell命令行执行virsh时后面跟上虚拟机管理指令的作用是等效的。 [root@kvmsvr ~]# virsh //进入virsh交互模式 欢迎使用 virsh,虚拟化的交互式终端。
数据库的锁是为了解决事务的隔离性问题,为了让事务之间相互不影响,每个事务进行操作的时候都会对数据加上一把特有的锁,防止其他事务同时操作数据。如果你想一个人静一静,不被别人打扰,那么请在你的房门上加上一把锁。
1、libvirt架构概述: libvirt是用来管理虚拟机或虚拟化功能的软件集合,主要包括:libvirtAPI, libvirtd进程和virsh工具集三部分。最初的目的是为不同的hypervisor提供统一的管理接口。 libvirtd该后台进程主要实现以下功能: (1)远程代理 所有remoteclient发送来的命令,由该进程监测执行 (2)本地环境初始化 libvirt服务的启停,用户connection的响应等 (3)根据环境注册各种Driver(qemu,xen,stora
正如我前面提到的,ZFS 是一种高级文件系统。因此,它具有一些有趣的功能[9]。如:
在本教程中,您将学习如何创建与 Longhorn 卷对应的持久卷 (PV) 和持久卷声明 (PVC) 的 Kubernetes 持久存储资源。您将使用 kubectl 为使用 Longhorn 存储类(storage class)的工作负载动态配置存储。
介绍两款Linux文件恢复工具,ext3grep与extundelete,可能在关键时刻会有所帮助。ext3grep仅对ext3文件系统有效,extundelete对ext3与ext4文件系统都有效
本文主要介绍 Hbase 常用的三种简单的容灾备份方案,即CopyTable、Export/Import、Snapshot。分别介绍如下:
此时他是有两个隐藏列的,一个是trxid(事务id),一个是roll pointer(回滚指针)
kvm虚拟机通过使用`attach-disk`命令在线新增虚拟磁盘,使用`blockresize`命令在线调整现有虚拟磁盘大小,增加存储空间并提升性能。虚拟机内部系统采用lvm逻辑卷管理技术,创建和管理逻辑卷,实现磁盘存储空间的动态管理。
近日,深信服安全团队监测到一种名为incaseformat病毒,全国各个区域都出现了被incaseformat病毒删除文件的用户。经调查,该蠕虫正常情况下表现为文件夹蠕虫,集中爆发是由于病毒代码中内置了部分特殊日期,在匹配到对应日期后会触发蠕虫的删除文件功能,爆发该蠕虫事件的用户感染时间应该早于1月13号,根据分析推测,下次触发删除文件行为的时间约为2021年1月23日和2月4日。
和Mysql主从复制的原因一样,Redis虽然读取写入的速度都特别快,但是也会产生读压力特别大的情况。为了分担读压力,Redis支持主从复制,Redis的主从结构可以采用一主多从或者级联结构,Redis主从复制可以根据是否是全量分为全量同步和增量同步。下图为级联结构。
前面学习了kvm虚拟化的一些基础操作,本节整理一下kvm快照、扩容等等相关的内容。
KVM虚拟机的快照用来保存虚拟机在某个时间点的内存、磁盘或者设备状态,如果将来有需要可以把虚拟机的状态回滚到这个时间点。
在计算机应用过程中,甩户有时舍碰到机器系统意外崩溃、格式化磁盘,或者把放入回收站中的文件不小心清空的情况.结果发现有些重要的数据忘记备份.有没有方法重新找回这些已被“彻底删除”的文件呢?该文通过分析得
Iceberg表每次commit都会生成一个parquet数据文件,有可能一张Iceberg表对应的数据文件非常多,那么我们通过Java Api 方式对Iceberg表可以进行数据文件合并,数据文件合并之后,会生成新的Snapshot且原有Snap快照数据并不会被删除,如果要删除对应的数据文件需要通过“Expire Snapshots来实现”。
〖0〗-操作成功完成。 〖1〗-功能错误。 〖2〗-系统找不到指定的文件。 〖3〗-系统找不到指定的路径。 〖4〗-系统无法打开文件。 〖5〗-拒绝访问。 〖6〗-句柄无效。 〖7〗-存储控制块被损坏。 〖8〗-存储空间不足,无法处理此命令。 〖9〗-存储控制块地址无效。 〖10〗-环境错误。 〖11〗-试图加载格式错误的程序。 〖12〗-访问码无效。 〖13〗-数据无效。 〖14〗-存储器不足,无法完成此操作。 〖15〗-系统找不到指定的驱动器。 〖16〗-无法删除目录。 〖17〗-系统无法将文件移到不同的驱动器。 〖18〗-没有更多文件。 〖19〗-介质受写入保护。 〖20〗-系统找不到指定的设备。 〖21〗-设备未就绪。 〖22〗-设备不识别此命令。 〖23〗-数据错误 (循环冗余检查)。 〖24〗-程序发出命令,但命令长度不正确。 〖25〗-驱动器无法找出磁盘上特定区域或磁道的位置。 〖26〗-无法访问指定的磁盘或软盘。 〖27〗-驱动器找不到请求的扇区。 〖28〗-打印机缺纸。 〖29〗-系统无法写入指定的设备。 〖30〗-系统无法从指定的设备上读取。 〖31〗-连到系统上的设备没有发挥作用。 〖32〗-进程无法访问文件,因为另一个程序正在使用此文件。 〖33〗-进程无法访问文件,因为另一个程序已锁定文件的一部分。 〖36〗-用来共享的打开文件过多。 〖38〗-到达文件结尾。 〖39〗-磁盘已满。 〖50〗-不支持该请求。 〖51〗-远程计算机不可用 。 〖52〗-在网络上已有重复的名称。 〖53〗-找不到网络路径。 〖54〗-网络忙。 〖55〗-指定的网络资源或设备不再可用。 〖56〗-已到达网络 BIOS 命令限制。 〖57〗-网络适配器硬件出错。 〖58〗-指定的服务器无法运行请求的操作。 〖59〗-发生意外的网络错误。 〖60〗-远程适配器不兼容。 〖61〗-打印机队列已满。 〖62〗-无法在服务器上获得用于保存待打印文件的空间。 〖63〗-删除等候打印的文件。 〖64〗-指定的网络名不再可用。 〖65〗-拒绝网络访问。 〖66〗-网络资源类型错误。 〖67〗-找不到网络名。 〖68〗-超过本地计算机网卡的名称限制。 〖69〗-超出网络 BIOS 会话限制。 〖70〗-远程服务器已暂停,或正在启动过程中。 〖71〗-当前已无法再同此远程计算机连接,因为已达到计算机的连接数目极限。 〖72〗-已暂停指定的打印机或磁盘设备。 〖80〗-文件存在。 〖82〗-无法创建目录或文件。 〖83〗-INT 24 失败。 〖84〗-无法取得处理此请求的存储空间。 〖85〗-本地设备名已在使用中。 〖86〗-指定的网络密码错误。 〖87〗-参数错误。 〖88〗-网络上发生写入错误。 〖89〗-系统无法在此时启动另一个进程。 〖100〗-无法创建另一个系统信号灯。 〖101〗-另一个进程拥有独占的信号灯。 〖102〗-已设置信号灯且无法关闭。 〖103〗-无法再设置信号灯。 〖104〗-无法在中断时请求独占的信号灯。 〖105〗-此信号灯的前一个所有权已结束。 〖107〗-程序停止,因为替代的软盘未插入。 〖108〗-磁盘在使用中,或被另一个进程锁定。 〖109〗-管道已结束。 〖110〗-系统无法打开指定的设备或文件。 〖111〗-文件名太长。 〖112〗-磁盘空间不足。 〖113〗-无法再获得内部文件的标识。 〖114〗-目标内部文件的标识不正确。 〖117〗-应用程序制作的 IOCTL 调用错误。 〖118〗-验证写入的切换参数值错误。 〖119〗-系统不支持请求的命令。 〖120〗-此功能只被此系统支持。 〖121〗-信号灯超时时间已到。 〖122〗-传递到系统调用的数据区太小。 〖123〗-文件名、目录名或卷标语法不正确。 〖124〗-系统调用级别错误。 〖125〗-磁盘没有卷标。 〖126〗-找不到指定的模块。 〖127〗-找不到指定的程序。 〖128〗-没有等候的子进程。 〖130〗-试图使用操作(而非原始磁盘 I/O)的已打开磁盘分区的文件句柄。 〖131〗-试图移动文件指针到文件开头之前。 〖132〗-无法在指定的设备或文件上设置文件
Redis 是一个基于内存的高性能key-value数据库。很像memcached,整个数据库统统加载在内存当中进行操作,定期通过异步操作把数据库数据flush到硬盘上进行保存。它的优点如下:
这份Checklist需要遇到实战足够的坑才能形成这份文档,所以发起邀请渗透师同共完成 "渗透操作红线列表"。在https://github.com/EvilAnne/Violation_Pnetest的Issues提交,经过审核有价值的,才会添加进来。
导读:本文作者是来自Percona的支持工程师 Vinodh Krishnaswamy 和 Aayushi Mangal。这篇文章主要介绍了MongoDB中两个引擎之间的差异,并在文章结尾处给出了表格对比总结。全文约2050字,阅读需要5分钟。
背景 还需要场景吗?数据被删除了。。。突发事件,应用上传的数据被程序自动删掉了,可悲的是还没有数据备份,数据是放在系统的 /data/webapps/xxxx/upload 目录下面,可把我们急坏了,之前又没有做过数据恢复的测试,然后我找到了一款数据恢复的软件,成功把删除的大部分数据找回来了,我的数据恢复过程如下。 安装恢复软件 1、epel 仓库安装 如果我们的源里面添加了 epel 仓库的话,我们可以直接使用下面的命令安装。 yum install extundelete -y 2、源码编译安装 wge
信息安全公益宣传,信息安全知识启蒙。 📷 突发事件,应用上传的数据被程序自动删掉了,可悲的是还没有数据备份,数据是放在系统的 /data/webapps/xxxx/upload 目录下面,可把我们急坏了,之前又没有做过数据恢复的测试,然后我找到了一款数据恢复的软件,成功把删除的大部分数据找回来了,我的数据恢复过程如下。 安装恢复软件 1、epel 仓库安装 如果我们的源里面添加了 epel 仓库的话,我们可以直接使用下面的命令安装。 2、源码编译安装 删除数据查找 因为我的数据路径比较深,所以我们需要一步步
突发事件,应用上传的数据被程序自动删掉了,可悲的是还没有数据备份,数据是放在系统的 /data/webapps/xxxx/upload 目录下面,可把我们记坏了,之前又没有做过数据恢复的测试,然后我找到了一款数据恢复的软件,成功把删除的大部分数据找回来了,我的数据恢复过程如下。
领取专属 10元无门槛券
手把手带您无忧上云