1、查看rbd模块:modinfo rbd 2、加载rbd模块:modprobe rbd 3、创建10GB块设备:rbd create test_img --size 10240 4、查看创建的块设备...:rbd list /// rbd info test_img 5、把test_image块设备映射到操作系统:rbd map test_img 6、查看系统中已经映射的块设备:rbd showmapped...-size 10240 --order 24 --image-format 2 24的意思:2的24次方,16MB 14、//删除image rbd rm poolname/image2 15、...protect poolname/image1@image1_snap rbd clone poolname/image1@image1_snap rbd/image2 //把分层的image独立出来...:rbd flatten rbd/image2 18、导出image:rbd export poolname/image1 tmpimage1_export 导入:rbd import tmpimage1
rbd命令把镜像导入ceph中(但是直接导入是不能用的, 因为没有经过 openstack,openstack 是看不到的) 导入镜像 命令:rbd import 路径和镜像名 -p 池 --image...导入后的镜像名 [root@node1 ~]# rbd import /root/wocao.img -p images --image wocaoxin rbd: --pool is deprecated...for import, use --dest-pool rbd: --image is deprecated for import, use --dest Importing image: 100%...查看导入的镜像 [root@node1 ~]# rbd ls images a56330e7-79d7-4639-a68f-366ac344bfe2 eccfee07-c2c9-4e6e-96a2-b4350162ec41
teralytics是一家国外的大数据公司,这个是他们开源的ceph的备份的工具,在twitter上搜索相关信息的时候看到,觉得不错就拿来试用一番 这是个什么软件 一个用来备份ceph的RBD的image...的开源软件,提供了两种模式 增量:在给定备份时间窗口内基于rbd快照的增量备份 完全:完整映像导出时不包含快照 注意一致性:此工具可以生成rbd图像的快照,而不会感知到它们的文件系统的状态,注意下rbd...快照的一致性限制(http://docs.ceph.com/docs/hammer/rbd/rbd-snapshot/)由于“完全”模式不使用快照,“完全”模式下的实时映像备份不一致(“增量”模式始终使用快照.../ images = zp compress = yes ceph config = /etc/ceph/ceph.conf backup mode = full check mode = no 开始备份...全量备份配置 上面的配置文件已经写好了,直接执行备份命令就可以了 [root@lab8106 ~]# cephbackup Starting backup for pool rbd Full ceph
1.说明 1.1介绍 RBD全称RADOS block device,是Ceph对外提供的块设备服务。 2....0ba32b8434fe a-628571e1-2410-4b6b-a77e-cee0f75b205d a-baad3cd0-ea33-4e83-9a7a-6c8f2771cdda 2.2 查看pool里镜像的信息...$ rbd info -p rbd --image test-ui-2-2d0cffe7-31ab-4170-b2df-35bbaf46c0ed rbd image 'test-ui-2-2d0cffe7...create -p rbd --size 1000 lihang $ rbd -p rbd info lihang rbd image 'lihang': size 1000 MB in...rm -p rbd lihang Removing image: 100% complete...done. 2.5 调整pool里镜像的尺寸 $ rbd resize -p rbd --size 20000
环境信息 请注意,本文档假设 Ceph 和 OpenStack 环境已经可用,在此基础上,配置 OpenStack 使用 Ceph RBD 作为镜像和卷的后端存储。 ?...升级内核 要升级内核的原因是 Ubuntu 16.04 使用的内核版本是 4.4,而 ceph RBD image 默认打开的功能包括:layering, exclusive-lock, object-map...Ceph 的准备工作 首先要为 glance 和 cinder 先创建好 pool,后面的数字是 pool 中包含的 pg 数量,pg 数量可以根据需求修改,大的原则是里面存储的数据越多,pg 数量也要越大...RBD 来挂载远程块存储,所以 libvirt 需要 RBD 的密钥,具体做法如下, # 在 Ceph 节点上执行,并将输出结果写入到计算节点的任意目录下的 client.cinder.key 文件中...rbd_user 要使用之前在 Ceph 上创建的账户,rbd_secret_uuid 要使用之前在 libvirt 中添加的 secret 的 UUID。
前言 之前有个想法,是不是有办法找到rbd中的文件与对象的关系,想了很久但是一直觉得文件系统比较复杂,在fs 层的东西对ceph来说是透明的,并且对象大小是4M,而文件很小,可能在fs层进行了合并,应该很难找到对应关系...,所以在rbd层进行提取的时候是需要得到的是分区当中的文件相对整个磁盘的一个sector的偏移量 rbd的对象结构 [root@lab8106 ~]# rados -p rbd ls|grep datarbd_data...layering flags: create_timestamp: Sat Jul 22 18:04:12 2017 sector和ceph object的对应关系的查询 这个就像个map...,大小为10G分成两个5G的分区,现在我们在两个分区里面分别写入两个测试文件,然后经过计算后,从后台的对象中把文件读出 mount /dev/rbd0p1 /mnt1 mount /dev/rbd0p2...根据偏移量计算对象中的偏移量 (10177..10184) [8192, 16383] --> 0000000000000001 得到 10177-8192=1985dd if=rbd_data.25a776b8b4567.0000000000000001
1.rbd ls 查看ceph默认资源池rbd里面的镜像 2.rbd info xxx.img 查看xxx.img的具体的具体信息 3.rbd rm xxx.img 删除xxx.img 4....aaa.img 将本地的aaa.img导入ceph集群中 7.rbd export aaa.img 将ceph集群中aaa.img导出到本地 8.rbd import --image-format...中) rbd clone rbd/win2008_test.img@win2008Snap rbd/newtest.img 12.快照去保护 rbd snap unprotect rbd/win2008...showmapped 19.取消映射 rbd unmap /dev/rbd1 20.rbd resize rbd/test.img -s 10G Ceph命令: 查看osd 的目录树: ceph osd...tree 查看机器的实时运行状态 :ceph –w 查看ceph的存储空间 :ceph df 查看mon的状态信息 :ceph mon stat 查看osd运行状态 : ceph osd stat
使用 Ceph RBD 的完整示例 原文链接 Complete Example Using Ceph RBD - Persistent Storage Examples | Installation...0 104m [root@kmaster ceph]# 创建pool [root@rook-ceph-tools-7467d8bf8-x7scq /]# ceph osd...pool create k8s 128 128 pool 'k8s' created [root@rook-ceph-tools-7467d8bf8-x7scq /]# 创建rbd [root@master...~]# rbd create ceph-image --pool k8s --size=1G [root@master ~]# rbd ls --pool k8s ceph-image [root@master...: 2Gi accessModes: - ReadWriteOnce rbd: monitors: - 10.111.94.249
在镜像中已经固化了,所以将这次完全自己控制的步骤记录下来,加深对 Ceph 挂载的理解。...安装 Ceph 要挂载 RBD 磁盘的 Linux 服务器首先要有 Ceph 的客户端,也就是 RBD 的客户端,以及一些 RBD 专用的 kernel module,毕竟这是要通过网络走特定的协议来完成的磁盘挂载...安装过程并不复杂,因为环境中已经有了 Ceph 集群,从 Ceph 集群中的主节点使用 ceph-deploy 扩展新节点即可,就不再描述如何安装 Ceph 了。...创建和挂载磁盘 上一步,已经在要挂载 RBD 的 Linux 服务器上安装好了 Ceph,接下来的操作在要挂载 Ceph RBD 磁盘的 Linux 服务器上操作即可。...400000000000000 是一个二进制的字符串,每一个比特位对应一个 RBD 的功能特性,每个比特标识什么意思详见下表,表中还标出了支持该特性的内核版本,400000000000000 对应的特性是
《大话 Ceph 》系列文章通过通俗易懂的语言并结合基础实验,用最简单的描述来讲解 Ceph 中的重要概念。让读者对分布式存储系统有一个清晰的理解。...引言 这篇文章主要介绍了 RBD 在 Ceph 底层的存储方式,解释了 RBD 的实际占用容量和 RBD 大小的关系,用几个文件的例子演示了文件在 RBD (更恰当的是 xfs)中的存储位置,最后组装了一个...说白了就是,块的大小和在 Ceph 中实际占用的大小是没有关系的,甚至,刚创建出来的块是不占空间的,今后用多大空间,才会在 Ceph 中占用多大空间。...打个比方就是,你有一个 32G 的 U盘,存了一个2G的电影,那么 RBD 大小就类似于 32G,而 2G 就相当于在 Ceph 中占用的空间。 RBD,和下面说的块,是一回事。...block_name_prefix: 这个是块的最重要的属性了,这是每个块在ceph中的唯一前缀编号,有了这个前缀,把服务器上的OSD都拔下来带回家,就能复活所有的VM了。
Snapshot 1.1 介绍 Cluster A & B仍然是独立的Ceph集群,通过RBD的snapshot机制,在Cluster A端,针对image定期通过rbd创建image的snap, 然后通过...1.4 优缺点 优点: 当前Ceph版本就支持rbd snapshot的功能 命令简介方便,通过定制执行脚本就能实现rbd块设备的跨区备份 缺点: 每次同步前都需要在源端take snapshot 持续的...CEPH BackUp 2.1 介绍 teralytics是一家国外的大数据公司,这个是他们开源的ceph的备份的工具。...RBD Mirroring 3.1 介绍 Ceph新的rbd mirror功能支持配置两个Ceph Cluster之间的rbd同步 3.2 原理 利用Journal日志进行异步备份,Ceph自身带有的rbd...方案对比 方案 详细说明 优点 缺点 Snapshot 主站点备份时为存储块打快照,将快照的差异部分发送到备站点重新生成新快照 1.当前Ceph版本就支持rbd snapshot的功能 2.
就行,在其它系统上问题也不大 但在coreos中,这是个比较大的问题。...,将ceph-common安装在容器内部,这里我们的镜像名称就叫 ceph-common 在k8s的各个工作节点上,创建/opt/bin/rbd文件,内容如下: 上面示例了一个的含有rbd卷的rc声明文件...在coreos系统中,默认帮我们扩展了PATH的目录,将/opt/bin自动添加至了PATH中。 这样,直接放在/opt/bin之下的可执行文件是可以直接调用的。...rbd可以不加路径,在终端中的任何目录下直接被调用,添加正确的参数,可以手动成功对rbd进行挂载。 经过多天的排查,最终找到了原因所在,问题出在systemd上。...rbd块存储 目前,我们还仅对coreos上的k8s与ceph的分布式块存储进了预研与验证,还缺少对其性能的严格测试。
基于上述问题,Ceph从Jewel版本开始引入了RBD Mirror功能来解决Ceph存储在数据备份容灾方面的需求。...RBD Mirror介绍 RBD mirror的原理,简单来说,就是利用日志(Journal)进行回放(replay),来完成主从同步。有点类似于Mysql中的binlog。...同时,还需要启动rbd-mirror服务,该服务负责监控远程Ceph集群的Journal,若有更新,则replay该Journal到本地RBD image。...具体的写IO过程如下: 1)写请求首先把数据写入RBD Journal; 2)Journal写入成功后,RBD再把数据写入RBD image,并回复Client ACK响应; 3)备份集群中的rbd-mirror...发现主集群中的journal有更新,则从主集群中读取journal数据,写入备份集群的RBD image; 4)备份集群写入数据成功后,更新主集群的journal的元数据,表明该IO journal已经同步成功
查看镜像 [root@node1 ~]# rbd ls images a56330e7-79d7-4639-a68f-366ac344bfe2 eccfee07-c2c9-4e6e-96a2-b4350162ec41...testimage 导出镜像 命令:rbd export -p 池 --image ID/名字 路径和导出镜像名 [root@node1 ~]# rbd export -p images --image
QoS 在 Ceph 中的实现,特别是在其 RADOS Block Device (RBD) 模块中,提供了一种机制来控制和限制存储资源的使用,如 IOPS(每秒输入输出操作次数)和带宽。...在本文中,我们将深入探讨 Ceph RBD 的 QoS 特性,重点关注如何验证和量化 RBD QoS 设置的效果。...再次进行测试,验证已经恢复 测试步骤 在ceph 14版本开始支持rbd的qos 详细配置参数可以参考https://docs.ceph.com/en/latest/rbd/rbd-config-ref.../ ceph rbd的qos是在librbd上进行限制的。...当然也可以使用qemu在块设备上做虚拟机磁盘的io限制,使用qemu做qos的优点是本地硬盘也可以进行限速,而ceph rbd的qos对象只是ceph集群中的rbd镜像。
1、通过两种方式访问RBD:librbd 、krbd Librbd基于librados的用户态接口库。krbd集成在LINUX中。...2、RBD的块设备称为image image.png 3、RBD的三种存储方式 image.png 4、image image.png 5、RBD支持快照和克隆
10.222.76.119:6789 pool:这是 Ceph 集群中存储数据进行归类区分使用,可使用 ceph osd pool ls 命令列出所有,默认创建的 pool 为 rbd,所以这里可以修改为...image:这是 Ceph 块设备中的磁盘映像文件,可使用 rbd create ... 命令创建指定大小的映像,这里我们就创建 foo fsType:文件系统类型,默认使用 ext4 即可。...volume 中的数据就不会存在了,那是因为 volume 跟 pod 的生命周期是一样的。...这里我使用官方示例中的 busybox 容器测试吧!...说明 Ceph RBD 仅能被 k8s 中的一个 node 挂载,也就是不支持跨节点挂载同一 Ceph RBD。
###ceph的rbd是可以进行调节大小的,但是调节需要进行一些操作,否则你看不到调节之后的效果,等于没调节,因为rbd就相当一块硬盘,但是文件系统一经初始化,分派的总容量大小、块大小 inode数量就定了...###当然调节的方法要看具体的文件系统才能判断使用相应的工具 ext4的 传送门 # rbd create --size 10000 test # rbd map test # mkfs.ext4 -...q /dev/rbd1 # mount /dev/rbd1 /mnt # df -h /mnt Filesystem Size Used Avail Use% Mounted on /dev.../rbd1 9.5G 22M 9.0G 1% /mnt # blockdev --getsize64 /dev/rbd1 10485760000 # rbd resize --size.../mnt xfs的 传送门 $ qemu-img info -f rbd "rbd:rbd/myrbd" $ qemu-img resize -f rbd "rbd:rbd/myrbd" 600G $
前言 之前有写过一篇关于rbd增量备份的,以及介绍过ceph-backup这款软件 ceph的rbd备份软件ceph-backup rbd的增量备份和恢复 这两篇文章里的方法都是基于rbd的快照去进行增量备份...,之前文章里的恢复方法都是基于集群进行恢复,也就是需要一个集群进行导入,本篇将介绍另外一个方法,不基于集群进行恢复,直接在本地文件系统上进行恢复,我们来看下这个是怎么恢复的 本篇也可以用于rbd和rbd...快照在本地进行合并 实践过程 全量备份的访问方法 rbd在没有做快照的情况下的备份,导出后是一个文件形式的 rbd export testrbd testrbd 使用下面方法进行直接访问 losetup...,如果是librbd的虚拟机磁盘的形式的直接当raw格式进行直接访问或者传输到OpenStack里面直接访问即可,或者用上面的步骤本地直接访问 增量备份的访问方法 如果使用的是ceph-backup的增量备份...librbd,要注意rbd的cache的影响,先flushcache,然后快照,如果是kernel rbd的快照,要注意本地文件系统的缓存的影响 总结 本篇是提供了一种本地恢复增量备份的rbd的方法,在集群之外进行快照的合并