基础知识: 1 Ceph基础介绍 Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统,根据场景划分可以将Ceph分为三大块,分别是对象存储、块设备存储和文件系统服务。...2 Ceph的核心组件 Ceph的核心组件包括Ceph OSD、Ceph Monitor和Ceph MDS。...Ceph OSD的架构实现由物理磁盘驱动器、Linux文件系统和Ceph OSD服务组成,对于Ceph OSD Deamon而言,Linux文件系统显性的支持了其拓展性,一般Linux文件系统有好几种,...Ceph Monitor:由该英文名字我们可以知道它是一个监视器,负责监视Ceph集群,维护Ceph集群的健康状态,同时维护着Ceph集群中的各种Map图,比如OSD Map、Monitor Map、PG...RBD:RBD通过Linux内核客户端和QEMU/KVM驱动来提供一个分布式的块设备。 CEPH FS:CEPH FS通过Linux内核客户端和FUSE来提供一个兼容POSIX的文件系统。
block storage RBD 是 Ceph 的块存储方案,最近需要在一台 Linux 服务器上挂载 Ceph 镜像,做法和 Kubernetes 挂 RBD 很像,但部分操作由于 Kubernetes...安装 Ceph 要挂载 RBD 磁盘的 Linux 服务器首先要有 Ceph 的客户端,也就是 RBD 的客户端,以及一些 RBD 专用的 kernel module,毕竟这是要通过网络走特定的协议来完成的磁盘挂载...install $ ceph-deploy admin 2....创建和挂载磁盘 上一步,已经在要挂载 RBD 的 Linux 服务器上安装好了 Ceph,接下来的操作在要挂载 Ceph RBD 磁盘的 Linux 服务器上操作即可。...Mismatch Error on Ceph Kernel Client Linux挂载RBD ceph分布式存储实战(4)——ceph存储配置(映射RBD镜像到客户端)
Ceph 是什么?...虽然 Linux 下 提供了 LVM ,也可以实现,物理设备和数据访问的抽象层,化整为零,按需分配,但它并不是一种 SDS,本质上是一种文件系统....改进和商业化(2010-2014):Ceph 在 2010 年成为 Linux 基金会的一个子项目,随后引入了块存储和文件存储等新功能。...然后 SUSE 公司开始将 Ceph 用于其企业级存储产品,这标志着 Ceph 开始商业化。 完善和社区增长(2014-2017):Ceph 在此时已经成为大规模存储领域主要的开源解决方案之一。...与此同时,Ceph 社区也不断扩大,包括了来自多个公司和组织的贡献者。Ceph 还加入了 OpenStack 等重要的开源项目,使得 Ceph 在云计算领域得到了广泛应用。
https://ralph.blog.imixs.com/2020/02/28/howto-install-ceph-on-centos-7/ 在 /etc/yum.repos.d/ 创建 Ceph...[ceph] name=Ceph packages for $basearch baseurl=https://download.ceph.com/rpm-nautilus/el7/$basearch...enabled=1 priority=2 gpgcheck=1 gpgkey=https://download.ceph.com/keys/release.asc [ceph-noarch] name...gpgcheck=1 gpgkey=https://download.ceph.com/keys/release.asc [ceph-source] name=Ceph source packages...://download.ceph.com/keys/release.asc 然后直接安装就好了 yum install ceph。
Ceph的监控有很多啊,calamari或inkscope等,我开始尝试安装这些的时候,都失败了,后来Ceph-dash走入了我的眼帘,Ceph-dash根据官方描述,我个人觉得是最简单安装的了,但是安装过程中出现的不好使用的情况...版本:0.80.7 进入正题: 首先下载ceph-dash,如果不好用,就到 https://github.com/Crapworks/ceph-dash下载 下载完毕后,按照官网给的提示安装,步骤如下...clone this repository place it on one of your ceph monitor nodes run ceph-dash.py point your browser...因为ceph-dash是Python写的,我没有成功是缺少了ceph的一些额外的软件包:Flask,安装完成Flask之后,再运行ceph-dash应该就OK了,如果你还是不OK,那么我也没办法了,因为我就遇到的是这个错误...如果你的机器是可以联网的那么恭喜你,你将会很方便的安装Flask 1、有网络Flask安装,参考 http://www.linuxidc.com/Linux/2014-12/111072.htm 2、没有网络的
1、 📷 image.png 📷 image.png 📷 image.png 📷 image.png 📷 image.png 📷 image.png 📷 ima...
ceph后遇到麻烦可以使用以下命令进行清除包和配置 #ceph-deploy purge ceph1 ceph2 ceph3 #ceph-deploy purgedata ceph1 ceph2 ceph3...#ceph-deploy forgetkeys 初始化,创建配置文件 cd ~/ceph-cluster ceph-deploy new ceph1 ceph2 ceph3 在生成的ceph.conf...中加入(写入[global] 段下) osd pool default size = 2 安装ceph ceph-deploy install cephadmin ceph1 ceph2 ceph3 配置初始...monitors ceph-deploy mon create-initial 新建osd 分别在ceph1,ceph2,ceph3节点上创建osd1,osd2,osd3目录 ssh ceph1 mkdir...osd2 ceph3:/var/local/osd3 ceph-deploy osd activate ceph1:/var/local/osd1 ceph2:/var/local/osd2 ceph3
1 📷 image.png 📷 📷 📷 📷 📷 📷 image.png 📷
今天第一篇,ceph历史此处不在多说,大家只需清楚ceph的最大特点:充分发挥存储本身的计算能力和去除所有的中心点。...Ceph有以下优势: CRUSH算法 Crush算法是ceph的两大创新之一,简单来说,ceph摒弃了传统的集中式存储元数据寻址的方案,转而使用CRUSH算法完成数据的寻址操作。...在国内一些公司的云环境中,通常会采用ceph作为openstack的唯一后端存储来提升数据转发效率。 二、CEPH的基本结构 Ceph的基本组成结构如下图: ?...· MDS(可选)为Ceph文件系统提供元数据计算、缓存与同步。在ceph中,元数据也是存储在osd节点中的,mds类似于元数据的代理缓存服务器。...为了解决这些问题,ceph引入了归置组的概念,即PG。 PG是一个逻辑概念,我们linux系统中可以直接看到对象,但是无法直接看到PG。
说明:整理ceph资料。 前言 2006年Sage Weil发表了Ceph论文,启动一个伟大的开源项目ceph。...---- Ceph简介 Ceph的设计思路以及基本组件,用于理解Ceph的架构设计、CRUSH、RADOS等概念,并且知道基于Ceph的RBD、RGW和CephFS等服务。...dev/rbd0 mount /dev/rbd0 /mnt/ 移除Image umount /dev/rbd0 rbd unmap /dev/rbd0 rbd showmapped 删除Image 删除和Linux...backup_ceph_conf=/etc/ceph/ceph.conf backup_ceph_user=cinder-backup backup_ceph_chunk_size=134217728...---- Ceph监控 这一章将介绍Ceph的监控与运维,搭建Ceph是一次性的工作,但运维Ceph却是长久的任务,幸运的是Ceph本身提供了很好的监控管理工具,方便我们管理Ceph集群。
运维 Ceph 集群的朋友应该会感受到,如果经常扩容,上了 OSD 之后,又还需要去计算一遍 pg 的个数,然后再设置一次,还是比较麻烦的,而且公式本身比较简单,为什么不能让 pg 打到阈值之后自动分裂扩展呢...ceph osd pool autoscale-status ceph osd pool set default.rgw.buckets.index pg_autoscale_mode on 开启之后会发现
MiniO Browser 可以对接支持 S3 协议的 Ceph RGW,因为用 s3cmd 这些工具去管理对象文件还是比较麻烦,而且不够直观的,Minio Browser 正好提供了一套 UI 来访问...、上传对象文件,创建桶和分享文件这些功能,还是相当实用的,如果不想自己开发基于 Ceph RGW 的对象文件页面管理,那么可以直接用 MiniO Browser。
查看OSD的状态 # 查看集群的osd状态 # 查看指定osd的状态:ceph osd dump 3 [root@node1 ~]# ceph osd dump epoch 242 fsid a1001d7b-e11e...开启OSD #开启后再次接收数据 [root@node1 ~]# ceph osd unpause 16....查看OSD参数 [root@node1 ~]# ceph --admin-daemon /var/run/ceph/ceph-osd.1.asok config show 17....#ceph osd primary-affinity [root@node1 ~]# ceph osd primary-affinity 2 1.0 #...提取crush图 # 提取最新crush图 # ceph osd getcrushmap -o {compiled-crushmap-filename} [root@node1 ~]# ceph osd
记录一下一些ceph优化的设置,部分内容来自网络,有些请根据自己需求相应修改 1、 Kernel pid max echo 4194303 > /proc/sys/kernel/pid_max 2、 .../mon/ceph-$id mon clock drift allowed = 1 #默认值0.05#monitor间的clock drift mon...等待的秒数 ############################################################## [osd] osd data = /var/lib/ceph/osd.../ceph-$id osd journal size = 20000 #默认5120 #osd journal大小 osd journal = /var/lib...#在被刷新到存储盘前dirty数据存在缓存的时间(seconds) rbd cache writethrough until flush = false #默认值true #该选项是为了兼容linux
Ceph存储集群包含两种类型的守护进程: Ceph监视器、Ceph OSD守护进程。 Ceph监视器维护着集群运行图的主副本。一个监视器集群确保了当某个监视器失效时的高可用性。...存储集群客户端向Ceph监视器索取集群运行图的最新副本。 Ceph OSD守护进程检查自身状态、以及其它OSD的状态,并报告给监视器们。同时Ceph OSD守护进程负责将数据存储为扁平的对象。...Ceph客户端要进行IO读写操作流程如下: Ceph客户端负责把展现给用户的数据格式(一块设备映像、 REST 风格对象、 CephFS 文件系统目录)转换为可存储于 Ceph 存储集群的对象 Ceph...客户端先连接到某个 Ceph 监视器、获得最新的集群运行图副本 Ceph客户端根据对象的ID及存储池的ID计算得出目标PG的ID Ceph客户端得到目标PG的主OSD地址,连接该OSD进行读写操作 ?...在管理节点执行下面的命令 ceph-deploy install ceph-client ceph-deploy admin ceph-client CentOS6需升级内核才能有brd内核模块,所以在
,rgw,mds,grafana 192.168.198.131/24 172.20.1.131/24 CentOS Linux release 8.3.2011 node02.ceph.local mon...,mgr,osd,rgw,mds 192.168.198.132/24 172.20.1.132/24 CentOS Linux release 8.3.2011 node03.ceph.local mon...,mgr,osd,rgw,mds 192.168.198.133/24 172.20.1.133/24 CentOS Linux release 8.3.2011 前期准备 包括配置IP、配置主机名、...node02.ceph.local node03.ceph.local [mgrs] node01.ceph.local node02.ceph.local node03.ceph.local [....ceph.local ceph-ansible配置 1.下载 ceph-ansible 下载 5.x 版本的 ceph-ansible # wget https://github.com/ceph/ceph-ansible
直至 2017 年底,上游 Ceph 项目都采取每年发布两个稳定版本的做法。自“Mimic”发行版起,Ceph 项目将按 9 个月发布计划运作。...在过去,红帽都使红帽 Ceph 存储的发行版与上游 Ceph 的 LTS 版一致。自“Infernalis”稳定发行版起,上游 Ceph 项目已采用了新的版本号编号方案。每一稳定发行版递增主要版本号。...Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式的存储系统。...“统一的”意味着Ceph可以一套存储系统同时提供对象存储、块存储和文件系统存储三种功能,以便在满足不同应用需求的前提下简化部署和运维。...而“分布式的”在Ceph系统中则意味着真正的去中心结构和没有理论上限的系统规模可扩展性。 ? ? ?
up ceph-node1 ceph-node2 ceph-node3 //包在国外,注意访问外国网站 vagrant status ceph-node1 ceph-node2 ceph-node3...ceph-node3 ceph -v //查看安装好的ceph版本信息 在ceph-node1上创建第一个Ceph monitor: sudo ceph-deploy mon create-initial...到ceph-node2与ceph-node3: cd /etc/ceph sudo ceph-deploy mon create ceph-node2 sudo ceph-deploy mon create...这时仿照ceph-node1创建osd的过程在ceph-node2.ceph-node3上创建osd sudo ceph-deploy disk list ceph-node2 ceph-node3 /...---- 实践中使用ceph集群 简单的命令来体验ceph集群:#1.检查ceph安装状态 ceph -s ceph status //同上 #2.观察集群健康状况 ceph -w #3.检查Ceph
ceph-deploy安装ceph集群一、主机环境主机IPceph版本ceph集群角色192.168.201.14413.2.8mon、mgr、osd192.168.201.14513.2.8mon、mgr...、osd192.168.201.14613.2.8mon、mgr、osd二、安装部署2.1、配置ceph yum源echo '[ceph-noarch]name=Ceph noarch packagesbaseurl...=https://mirrors.aliyun.com/ceph/rpm-mimic/el7export CEPH_DEPLOY_GPG_URL=https://mirrors.aliyun.com/ceph...部署工具yum install -y ceph-deploy2.5、初始化Mon配置mkdir /etc/ceph && cd /etc/ceph/ceph-deploy new --public-network...## 添加了可以删除osd pool参数2.7、ceph集群ceph-deploy install --release mimic ceph0{1,2,3}2.8、初始化mon和秘钥证书ceph-deploy
服务架构一个 Ceph 存储集群至少需要一个 Ceph Monitor(监视器)、Ceph Manager(管理器) 和 Ceph OSD(对象存储守护进程)。...ceph-osd 相互之间协调工作时,需要从 ceph-mon 中获取这些表的信息。ceph-mon 还负责管理 ceph-osd 和客户端之间的身份验证。...图片RBD(Rados Block Device)基于LIBRADOS API构建的,使用了Linux内核client和QEMU/KVM驱动程序的分布式块存储设备。...文件存储不管是来自 Ceph 块设备、 Ceph 对象存储、 Ceph 文件系统、还是基于 librados 的自定义存储,将数据存储到 Ceph 集群上的步骤大致相同,大概可以归纳为Ceph客户端将数据存放在存储对象中...Ceph编排工具Ceph社区开发了多种编排工具,方便你快速构建一个Ceph集群。如果你想在物理机上以传统后台服务的方式运行你的集群,可以使用基于ansible框架开发的ceph-ansible。
领取专属 10元无门槛券
手把手带您无忧上云