首页
学习
活动
专区
圈层
工具
发布
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    ceph的rbd备份软件ceph-backup

    teralytics是一家国外的大数据公司,这个是他们开源的ceph的备份的工具,在twitter上搜索相关信息的时候看到,觉得不错就拿来试用一番 这是个什么软件 一个用来备份ceph的RBD的image...的开源软件,提供了两种模式 增量:在给定备份时间窗口内基于rbd快照的增量备份 完全:完整映像导出时不包含快照 注意一致性:此工具可以生成rbd图像的快照,而不会感知到它们的文件系统的状态,注意下rbd...快照的一致性限制(http://docs.ceph.com/docs/hammer/rbd/rbd-snapshot/)由于“完全”模式不使用快照,“完全”模式下的实时映像备份不一致(“增量”模式始终使用快照.../ images = zp compress = yes ceph config = /etc/ceph/ceph.conf backup mode = full check mode = no 开始备份...全量备份配置 上面的配置文件已经写好了,直接执行备份命令就可以了 [root@lab8106 ~]# cephbackup Starting backup for pool rbd Full ceph

    2.2K31

    OpenStack(Pike)连接 Ceph RBD

    环境信息 请注意,本文档假设 Ceph 和 OpenStack 环境已经可用,在此基础上,配置 OpenStack 使用 Ceph RBD 作为镜像和卷的后端存储。 ?...升级内核 要升级内核的原因是 Ubuntu 16.04 使用的内核版本是 4.4,而 ceph RBD image 默认打开的功能包括:layering, exclusive-lock, object-map...Ceph 的准备工作 首先要为 glance 和 cinder 先创建好 pool,后面的数字是 pool 中包含的 pg 数量,pg 数量可以根据需求修改,大的原则是里面存储的数据越多,pg 数量也要越大...RBD 来挂载远程块存储,所以 libvirt 需要 RBD 的密钥,具体做法如下, # 在 Ceph 节点上执行,并将输出结果写入到计算节点的任意目录下的 client.cinder.key 文件中...rbd_user 要使用之前在 Ceph 上创建的账户,rbd_secret_uuid 要使用之前在 libvirt 中添加的 secret 的 UUID。

    1.9K30

    从ceph对象中提取RBD中的指定文件

    前言 之前有个想法,是不是有办法找到rbd中的文件与对象的关系,想了很久但是一直觉得文件系统比较复杂,在fs 层的东西对ceph来说是透明的,并且对象大小是4M,而文件很小,可能在fs层进行了合并,应该很难找到对应关系...,所以在rbd层进行提取的时候是需要得到的是分区当中的文件相对整个磁盘的一个sector的偏移量 rbd的对象结构 [root@lab8106 ~]# rados -p rbd ls|grep datarbd_data...layering flags: create_timestamp: Sat Jul 22 18:04:12 2017 sector和ceph object的对应关系的查询 这个就像个map...,大小为10G分成两个5G的分区,现在我们在两个分区里面分别写入两个测试文件,然后经过计算后,从后台的对象中把文件读出 mount /dev/rbd0p1 /mnt1 mount /dev/rbd0p2...根据偏移量计算对象中的偏移量 (10177..10184) [8192, 16383] --> 0000000000000001 得到 10177-8192=1985dd if=rbd_data.25a776b8b4567.0000000000000001

    7.3K20

    Linux 远程挂载 Ceph RBD 磁盘

    在镜像中已经固化了,所以将这次完全自己控制的步骤记录下来,加深对 Ceph 挂载的理解。...安装 Ceph 要挂载 RBD 磁盘的 Linux 服务器首先要有 Ceph 的客户端,也就是 RBD 的客户端,以及一些 RBD 专用的 kernel module,毕竟这是要通过网络走特定的协议来完成的磁盘挂载...安装过程并不复杂,因为环境中已经有了 Ceph 集群,从 Ceph 集群中的主节点使用 ceph-deploy 扩展新节点即可,就不再描述如何安装 Ceph 了。...创建和挂载磁盘 上一步,已经在要挂载 RBD 的 Linux 服务器上安装好了 Ceph,接下来的操作在要挂载 Ceph RBD 磁盘的 Linux 服务器上操作即可。...400000000000000 是一个二进制的字符串,每一个比特位对应一个 RBD 的功能特性,每个比特标识什么意思详见下表,表中还标出了支持该特性的内核版本,400000000000000 对应的特性是

    6.6K10

    《大话 Ceph》 之 RBD 那点事儿

    《大话 Ceph 》系列文章通过通俗易懂的语言并结合基础实验,用最简单的描述来讲解 Ceph 中的重要概念。让读者对分布式存储系统有一个清晰的理解。...引言 这篇文章主要介绍了 RBD 在 Ceph 底层的存储方式,解释了 RBD 的实际占用容量和 RBD 大小的关系,用几个文件的例子演示了文件在 RBD (更恰当的是 xfs)中的存储位置,最后组装了一个...说白了就是,块的大小和在 Ceph 中实际占用的大小是没有关系的,甚至,刚创建出来的块是不占空间的,今后用多大空间,才会在 Ceph 中占用多大空间。...打个比方就是,你有一个 32G 的 U盘,存了一个2G的电影,那么 RBD 大小就类似于 32G,而 2G 就相当于在 Ceph 中占用的空间。 RBD,和下面说的块,是一回事。...block_name_prefix: 这个是块的最重要的属性了,这是每个块在ceph中的唯一前缀编号,有了这个前缀,把服务器上的OSD都拔下来带回家,就能复活所有的VM了。

    14.7K125

    Ceph RBD灾备方案对比

    Snapshot 1.1 介绍 Cluster A & B仍然是独立的Ceph集群,通过RBD的snapshot机制,在Cluster A端,针对image定期通过rbd创建image的snap, 然后通过...1.4 优缺点 优点: 当前Ceph版本就支持rbd snapshot的功能 命令简介方便,通过定制执行脚本就能实现rbd块设备的跨区备份 缺点: 每次同步前都需要在源端take snapshot 持续的...CEPH BackUp 2.1 介绍 teralytics是一家国外的大数据公司,这个是他们开源的ceph的备份的工具。...RBD Mirroring 3.1 介绍 Ceph新的rbd mirror功能支持配置两个Ceph Cluster之间的rbd同步 3.2 原理 利用Journal日志进行异步备份,Ceph自身带有的rbd...方案对比 方案 详细说明 优点 缺点 Snapshot 主站点备份时为存储块打快照,将快照的差异部分发送到备站点重新生成新快照 1.当前Ceph版本就支持rbd snapshot的功能 2.

    5.3K42

    有状态容器实践:k8s集成ceph分布式存储

    就行,在其它系统上问题也不大 但在coreos中,这是个比较大的问题。...,将ceph-common安装在容器内部,这里我们的镜像名称就叫 ceph-common 在k8s的各个工作节点上,创建/opt/bin/rbd文件,内容如下: 上面示例了一个的含有rbd卷的rc声明文件...在coreos系统中,默认帮我们扩展了PATH的目录,将/opt/bin自动添加至了PATH中。 这样,直接放在/opt/bin之下的可执行文件是可以直接调用的。...rbd可以不加路径,在终端中的任何目录下直接被调用,添加正确的参数,可以手动成功对rbd进行挂载。 经过多天的排查,最终找到了原因所在,问题出在systemd上。...rbd块存储 目前,我们还仅对coreos上的k8s与ceph的分布式块存储进了预研与验证,还缺少对其性能的严格测试。

    4.4K61

    Ceph基于RBD Mirror的备份容灾

    基于上述问题,Ceph从Jewel版本开始引入了RBD Mirror功能来解决Ceph存储在数据备份容灾方面的需求。...RBD Mirror介绍 RBD mirror的原理,简单来说,就是利用日志(Journal)进行回放(replay),来完成主从同步。有点类似于Mysql中的binlog。...同时,还需要启动rbd-mirror服务,该服务负责监控远程Ceph集群的Journal,若有更新,则replay该Journal到本地RBD image。...具体的写IO过程如下: 1)写请求首先把数据写入RBD Journal; 2)Journal写入成功后,RBD再把数据写入RBD image,并回复Client ACK响应; 3)备份集群中的rbd-mirror...发现主集群中的journal有更新,则从主集群中读取journal数据,写入备份集群的RBD image; 4)备份集群写入数据成功后,更新主集群的journal的元数据,表明该IO journal已经同步成功

    1.6K20

    rbd的ceph-backup增量备份本地恢复方法

    前言 之前有写过一篇关于rbd增量备份的,以及介绍过ceph-backup这款软件 ceph的rbd备份软件ceph-backup rbd的增量备份和恢复 这两篇文章里的方法都是基于rbd的快照去进行增量备份...,之前文章里的恢复方法都是基于集群进行恢复,也就是需要一个集群进行导入,本篇将介绍另外一个方法,不基于集群进行恢复,直接在本地文件系统上进行恢复,我们来看下这个是怎么恢复的 本篇也可以用于rbd和rbd...快照在本地进行合并 实践过程 全量备份的访问方法 rbd在没有做快照的情况下的备份,导出后是一个文件形式的 rbd export testrbd testrbd 使用下面方法进行直接访问 losetup...,如果是librbd的虚拟机磁盘的形式的直接当raw格式进行直接访问或者传输到OpenStack里面直接访问即可,或者用上面的步骤本地直接访问 增量备份的访问方法 如果使用的是ceph-backup的增量备份...librbd,要注意rbd的cache的影响,先flushcache,然后快照,如果是kernel rbd的快照,要注意本地文件系统的缓存的影响 总结 本篇是提供了一种本地恢复增量备份的rbd的方法,在集群之外进行快照的合并

    1.4K21
    领券