Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序，Get更优阅读体验！
立即前往
文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
发布
首页
学习
活动
专区
圈层
工具
MCP广场
返回腾讯云官网
社区首页 >专栏 >模拟ceph集群ERROR状态

模拟ceph集群ERROR状态

作者头像
summerking
发布于 2023-02-18 01:16:03
发布于 2023-02-18 01:16:03
49900
代码可运行
举报
文章被收录于专栏：summerking的专栏summerking的专栏
运行总次数：0
代码可运行
关联问题
换一批

模拟pg inconsistent集群ERROR处理

# 1. 查看集群状态

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
root 🌐 summer133-112 in  ~ 
 ♥ 10:37 > summer -s
    cluster 0be48747-efac-4ece-8cbe-9a5d06baccab
     health HEALTH_OK
     monmap e5: 3 mons at {summer133-112=192.168.133.112:6789/0,summer133-113=192.168.133.113:6789/0,summer133-114=192.168.133.114:6789/0}
            election epoch 1098, quorum 0,1,2 summer133-112,summer133-113,summer133-114
     mdsmap e30: 1/1/1 up {0=summer133-112=up:active}, 2 up:standby-replay
     osdmap e156: 6 osds: 6 up, 6 in
      pgmap v16473: 1296 pgs, 4 pools, 690 MB data, 8843 objects
            7953 MB used, 110 GB / 118 GB avail
                1296 active+clean

root 🌐 summer133-112 in  ~ 
 ♥ 10:38 > summer df
GLOBAL:
    SIZE     AVAIL     RAW USED     %RAW USED 
    118G      110G        7953M          6.56 
POOLS:
    NAME                                   ID     USED      %USED     MAX AVAIL     TOTAL     TOTAL AVAIL     OBJECTS 
    mTR-00000-magtools-dp                  0      56470         0        53557M      118G          60657M         189 
    mTR-220913204427-f2_x-LTXkOFl34483     2       689M      1.27        53557M      118G          60657M        8637 
    mTR-220913204512-r2_x-lg2qJNQJ1197     3      28672         0        53557M      118G          60657M          16 
    mTR-220913204555-r2_1-lMtsKMnN8141     4      1924k         0        71410M      118G          80876M           1 

root 🌐 summer133-112 in  ~ 
 ♥ 10:38 > dd if=/dev/zero of=summer  bs=4M count=10
10+0 records in
10+0 records out
41943040 bytes (42 MB) copied, 0.0430584 s, 974 MB/s

# 2. 上传文件

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
root 🌐 summer133-112 in  ~ 
 ♥ 10:38 > rados -p  mTR-220913204512-r2_x-lg2qJNQJ1197  put summer summer

# 3. 查询对象位置

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
root 🌐 summer133-112 in  ~ 
 ♥ 10:38 > summer osd map  mTR-220913204512-r2_x-lg2qJNQJ1197 summer
osdmap e156 pool 'mTR-220913204512-r2_x-lg2qJNQJ1197' (3) object 'summer' -> pg 3.90cae7f1 (3.f1) -> up ([2,3], p2) acting ([2,3], p2)

root 🌐 summer133-112 in  ~ 
 ♥ 10:38 > lsblk
NAME                      MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
loop0                       7:0    0  100G  0 loop 
└─docker-8:2-1058534-pool 252:0    0  100G  0 dm   
loop1                       7:1    0    2G  0 loop 
└─docker-8:2-1058534-pool 252:0    0  100G  0 dm   
sda                         8:0    0  100G  0 disk 
├─sda1                      8:1    0    1G  0 part /boot
└─sda2                      8:2    0   99G  0 part /
sdb                         8:16   0   30G  0 disk 
├─sdb1                      8:17   0 10.2G  0 part 
└─sdb2                      8:18   0 19.8G  0 part /var/lib/summer/osd/summer-4
sdc                         8:32   0   30G  0 disk 
├─sdc1                      8:33   0 10.2G  0 part 
└─sdc2                      8:34   0 19.8G  0 part /var/lib/summer/osd/summer-2
sr0                        11:0    1  4.1G  0 rom

# 4. 进入目录删除文件,重启osd进程

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
root 🌐 summer133-112 in  ~ 
 ♥ 10:39 > cd /var/lib/summer/osd/summer-2/current/3.f1_head/

root 🌐 summer133-112 in  …/summer-2/current/3.f1_head 
 ♥ 10:39 > ll
total 4100
-rw-r--r-- 1 root root       0 Sep 13 20:45 __head_000000F1__3
-rw-r--r-- 1 root root 1970176 Sep 14 10:38 summer__head_90CAE7F1__3

root 🌐 summer133-112 in  …/summer-2/current/3.f1_head 
 ♥ 10:39 > rm -rf summer__head_90CAE7F1__3 

root 🌐 summer133-112 in  …/summer-2/current/3.f1_head 
 ♥ 10:39 > /etc/init.d/summer restart osd.2
=== osd.2 === 
=== osd.2 === 
Stopping summer osd.2 on summer133-112...kill 17858...kill 17858...done
=== osd.2 === 
Mounting xfs on summer133-112:/var/lib/summer/osd/summer-2
create-or-move updated item name 'osd.2' weight 0.02 at location {host=summer133-112,root=default} to crush map
Starting summer osd.2 on summer133-112...

root 🌐 summer133-113 in  ~ 
 ♥ 10:39 > cd /var/lib/summer/osd/summer-3/current/3.1
3.102_head/ 3.104_head/ 3.106_head/ 3.108_head/ 3.10d_head/ 3.10_head/  3.11_head/  3.15_head/  3.18_head/  3.1b_head/  3.1e_head/  

root 🌐 summer133-113 in  ~ 
 ♥ 10:39 > cd /var/lib/summer/osd/summer-3/current/3.f1_head/

root 🌐 summer133-113 in  …/summer-3/current/3.f1_head 
 ♥ 10:40 > ll
total 4100
-rw-r--r-- 1 root root       0 Sep 13 20:45 __head_000000F1__3
-rw-r--r-- 1 root root 1970176 Sep 14 10:38 summer__head_90CAE7F1__3

root 🌐 summer133-113 in  …/summer-3/current/3.f1_head 
 ♥ 10:40 > rm  -rf summer__head_90CAE7F1__3 

root 🌐 summer133-113 in  …/summer-3/current/3.f1_head 
 ♥ 10:40 > /etc/init.d/summer restart osd.3
=== osd.3 === 
=== osd.3 === 
Stopping summer osd.3 on summer133-113...kill 19484...kill 19484...done
=== osd.3 === 
Mounting xfs on summer133-113:/var/lib/summer/osd/summer-3
create-or-move updated item name 'osd.3' weight 0.02 at location {host=summer133-113,root=default} to crush map
Starting summer osd.3 on summer133-113...

# 5. 数据校验

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
root 🌐 summer133-112 in  …/summer-2/current/3.f1_head took 5s 
 ♥ 10:40 > summer pg scrub 3.f1
instructing pg 3.f1 on osd.2 to scrub

root 🌐 summer133-112 in  …/summer-2/current/3.f1_head 
 ♥ 10:41 > summer pg deep-scrub 3.f1
instructing pg 3.f1 on osd.2 to deep-scrub

root 🌐 summer133-112 in  …/summer-2/current/3.f1_head 
 ♥ 10:41 > summer -s
    cluster 0be48747-efac-4ece-8cbe-9a5d06baccab
     health HEALTH_ERR
            1 pgs inconsistent
            1 scrub errors
     monmap e5: 3 mons at {summer133-112=192.168.133.112:6789/0,summer133-113=192.168.133.113:6789/0,summer133-114=192.168.133.114:6789/0}
            election epoch 1098, quorum 0,1,2 summer133-112,summer133-113,summer133-114
     mdsmap e30: 1/1/1 up {0=summer133-112=up:active}, 2 up:standby-replay
     osdmap e164: 6 osds: 6 up, 6 in
      pgmap v16511: 1296 pgs, 4 pools, 692 MB data, 8844 objects
            8291 MB used, 110 GB / 118 GB avail
                1295 active+clean
                   1 active+clean+inconsistent
  client io 2039 B/s rd, total ops: 1, write ops: 0, read ops: 1

root 🌐 summer133-112 in  …/summer-2/current/3.f1_head 
 ♥ 10:41 >

# 6. 恢复

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
root 🌐 summer133-112 in  …/summer-2/current/3.f1_head 
 ♥ 10:48 > summer pg dump | grep inconsistent
dumped all in format plain
3.f1	1	0	0	0	0	1970176	10	10	active+clean+inconsistent	2022-09-14 10:41:25.812995	156'10	164:44	[2,3]	2	[2,3]	2	156'10	2022-09-14 10:41:25.812938	156'10	2022-09-14 10:41:25.812938

root 🌐 summer133-112 in  …/summer-2/current/3.f1_head 
 ♥ 10:48 > summer pg repair 3.f1
instructing pg 3.f1 on osd.2 to repair

root 🌐 summer133-112 in  …/summer-2/current/3.f1_head 
 ♥ 10:48 > summer -s
    cluster 0be48747-efac-4ece-8cbe-9a5d06baccab
     health HEALTH_OK
     monmap e5: 3 mons at {summer133-112=192.168.133.112:6789/0,summer133-113=192.168.133.113:6789/0,summer133-114=192.168.133.114:6789/0}
            election epoch 1098, quorum 0,1,2 summer133-112,summer133-113,summer133-114
     mdsmap e30: 1/1/1 up {0=summer133-112=up:active}, 2 up:standby-replay
     osdmap e164: 6 osds: 6 up, 6 in
      pgmap v16602: 1296 pgs, 4 pools, 690 MB data, 8843 objects
            7931 MB used, 110 GB / 118 GB avail
                1296 active+clean
  client io 1705 B/s rd, total ops: 1, write ops: 0, read ops: 1

root 🌐 summer133-112 in  …/summer-2/current/3.f1_head 
 ♥ 10:48 >
本文参与 腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。
原始发表：2022-09-14，如有侵权请联系 cloudcommunity@tencent.com 删除
对象
集群
进程
数据

本文分享自 作者个人站点/博客 前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ，欢迎热爱写作的你一起参与！

对象
集群
进程
数据
评论
登录后参与评论
暂无评论
登录 后参与评论
推荐阅读
编辑精选文章
换一批
万字详解高可用架构设计
2411
Go 开发者必备：Protocol Buffers 入门指南
1373
10分钟带你彻底搞懂分布式链路跟踪
907
多租户的 4 种常用方案
1899
亿级月活的社交 APP，陌陌如何做到 3 分钟定位故障？
1333
60页PPT全解：DeepSeek系列论文技术要点整理
2376
ceph分布式存储-常见 PG 故障处理
分布式
创建一个新集群后，PG 的状态一直处于 active ， active + remapped 或 active + degraded 状态， 而无法达到 active + clean 状态 ，那很可能是你的配置有问题。
Lucien168
2020/07/20
3.8K0
《 大话 Ceph 》 之 PG 那点事儿
分布式
腾讯云TStack
2017/11/06
9.7K8
分布式存储Ceph之PG状态详解
iominsetsize
继上次分享的《Ceph介绍及原理架构分享》，这次主要来分享Ceph中的PG各种状态详解，PG是最复杂和难于理解的概念之一，PG的复杂如下：
Lucien168
2020/07/20
3.5K0
Ceph 快速部署 ( Centos7 + Jewel )
yum分布式
作者：徐凯 这篇文章主要介绍了如何用三台虚拟机搭建一套Ceph分布式系统，步骤简洁但不失准确性。环境清理一小节可以解决绝大多数部署不成功的问题，最后一节介绍了常用的Ceph操作，希望能给刚搭建环境的
腾讯云TStack
2017/09/21
1.9K0
Proxmox ceph故障处置备忘
分布式网站ruby on rails
root@pve47:~# ceph health detail HEALTH_ERR 5 scrub errors; Possible data damage: 1 pg inconsistent OSD_SCRUB_ERRORS 5 scrub errors PG_DAMAGED Possible data damage: 1 pg inconsistent pg 2.162 is active+clean+inconsistent, acting [3,0,10]
星哥玩云
2022/07/27
8210
Proxmox ceph故障处置备忘
ceph recovering速度控制
分布式
问题背景 集群中剔除了一个osd,没有新加入，进行了一次pg的均衡，做完均衡后集群出现· Degraded data redundancy: 256 pgs undersized,为了保证集群的pg副本数为3，需要新添加一个osd来做pg的均衡 ceph 集群的状态 [root@node1 ~]# ceph -v ceph version 14.2.18 (befbc92f3c11eedd8626487211d200c0b44786d9) nautilus (stable) [root@node1 ~]#
用户4700054
2022/08/17
2.5K0
Ceph 故障排查笔记 | 万字经验总结
https网络安全分布式node.js
删除当前 osd 的所有数据，并且重新加载 osd，此操作一定要保证有冗余可用的 osd，否则会造成整个 osd 数据损坏。
米开朗基杨
2021/05/11
8K0
ceph分布式存储-检查集群健康状态
分布式
元数据服务器为 Ceph 文件系统提供元数据服务，不过在当前生产环境中并未部署 MDS 。
Lucien168
2020/07/20
1.3K0
ceph分布式存储-数据不均衡调整
数据
1. 查看数据分布是否均衡 #查看osd使用情况 $ ceph osd df tree ID CLASS WEIGHT REWEIGHT SIZE USE AVAIL %USE VAR PGS TYPE NAME -1 196.21051 - 190T 347G 190T 0.18 1.00 - root default -3 65.40106 - 61390G 115G 61274G 0.19 1.06 -
Lucien168
2020/07/20
2.2K0
外包技能--Ceph（L版）手动剔除osd与增加osd
存储
Godev
2023/08/02
8410
ceph v12版本直升v14
yum分布式
一个RGW环境的更新，ceph 12.2.12升级到14.2.4流程，跳过中间的13版本。 注意：升级很危险，操作需谨慎。升级没有后悔药，本人不承担任何因升级及相关操作导致的任何数据丢失风险。
用户1260683
2019/12/05
1.8K0
ceph osd full故障 原
其他
资料(传送门)[http://bbs.ceph.org.cn/question/363]
domain0
2018/08/02
1.6K0
Ceph 集群整体迁移方案
数据迁移
场景介绍：在我们的IDC中，存在着运行了3-6年的Ceph集群的服务器，这些服务器性能和容量等都已经无法满足当前业务的需求，在购入一批高性能机器后，希望将旧机器上的集群整体迁移到新机器上，当然，是保证业务不中断的前提下，再将旧机器下架回收。本文就介绍了一种实现业务不中断的数据迁移方案，并已经在多个生产环境执行。 本文的环境均为：Openstack+Ceph 运行虚拟机的场景，即主要使用RBD，不包含RGW，MDS。虚机的系统盘(Nova)，云硬盘(Cinder)，镜像盘(Glance)的块均保存在共享存储C
腾讯云TStack
2018/04/02
4.1K0
ceph 运维常用命令总结
node.js分布式
    cluster be1756f2-54f7-4d8f-8790-820c82721f17
DevinGeng
2019/04/09
5.6K0
Ceph集群常用命令参考
分布式
如果一个OSD处于up状态，那么它可以是在集群内，也可以是在集群外，如果之前的状态为 up 且 in，现在变成 up out了，那么ceph会把PG迁移到其他的OSD上。如果某个OSD的变成out了，则crush就不会再分配PG给它，如果状态为down，那么它的状态就会为out，默认在OSD down掉300s后标记它为out状态
dogfei
2020/07/31
9600
ceph运维常用指令
分布式node.js
[root@node1 ~]# ceph-deploy purgedata node1
IT运维技术圈
2022/06/26
1.7K0
使用 docker 快速部署 ceph
容器镜像服务markdownhttpsjson
系统环境 至少需要三台虚拟机或者物理机，这里使用虚拟机 每台虚拟机至少需要两块硬盘（一块系统盘，一块OSD），本例中有三块硬盘 1. 部署流程 博客使用的markdown解析器不支持流程图使用图片代替
tanmx
2018/07/16
5.5K0
Ceph 磁盘损坏现象和解决方法
存储人工智能
对于存储系统，磁盘是消耗品，损坏是很常见的，所以这篇文章记录一下 Ceph 中出现磁盘损坏时的现象，以及如何定位和更换损坏的磁盘。
用户2443625
2018/08/23
2.7K0
Ceph 磁盘损坏现象和解决方法
从hammer到jewel的RGW升级实战-by秦牧羊
其他
本篇来自秦牧羊的一篇分享，讲述的是从hammer升级到jewel的过程，以及其中的一些故障的处理，是一篇非常详细的实战分享
用户2772802
2018/08/06
6450
centos7搭建ceph集群
分布式node.jstcp/iphttps网络安全
ceph需要epel源的包，所以安装的节点都需要yum install epel-release
用户1214487
2020/06/19
1.1K0
centos7搭建ceph集群
推荐阅读
编辑精选文章
万字详解高可用架构设计Go 开发者必备：Protocol Buffers 入门指南10分钟带你彻底搞懂分布式链路跟踪
相关讨论
ceph pacific版，修改ceph.conf后重启ceph.target服务配置文件还原了？ceph结构调整？ceph 手动部署3个mon 节点,待ceph-mon 起来后,ceph-s 无任何输出,卡住？
相关课程
AI绘画-StableDiffusion图像生成腾讯云WeData大数据开发与治理训练营云原生降本增效实战营
ceph分布式存储-常见 PG 故障处理
3.8K0
《 大话 Ceph 》 之 PG 那点事儿
9.7K8
分布式存储Ceph之PG状态详解
3.5K0
Ceph 快速部署 ( Centos7 + Jewel )
1.9K0
Proxmox ceph故障处置备忘
8210
ceph recovering速度控制
2.5K0
Ceph 故障排查笔记 | 万字经验总结
8K0
ceph分布式存储-检查集群健康状态
1.3K0
ceph分布式存储-数据不均衡调整
2.2K0
外包技能--Ceph（L版）手动剔除osd与增加osd
8410
ceph v12版本直升v14
1.8K0
ceph osd full故障 原
1.6K0
Ceph 集群整体迁移方案
4.1K0
ceph 运维常用命令总结
5.6K0
Ceph集群常用命令参考
9600
ceph运维常用指令
1.7K0
使用 docker 快速部署 ceph
5.5K0
Ceph 磁盘损坏现象和解决方法
2.7K0
从hammer到jewel的RGW升级实战-by秦牧羊
6450
centos7搭建ceph集群
1.1K0
相关推荐
ceph分布式存储-常见 PG 故障处理
更多 >
summerking0
LV.1
这个人很懒，什么都没有留下～
文章
199
获赞
460
专栏
1
作者相关精选
换一批
加入讨论
的问答专区 >
穿过生命散发芬芳0
相关课程
一站式学习中心 >
云开发微搭低代码平台-一人构建企业级应用实战训练营
1996人在学
腾讯云微搭低代码
云开发
腾讯云WeData大数据开发与治理训练营
1455人在学
数据开发治理平台 WeData
云原生降本增效实战营
270人在学
容器
容器服务
领券

腾讯云开发者

扫码关注腾讯云开发者

扫码关注腾讯云开发者

领取腾讯云代金券

热门产品

热门推荐

更多推荐

Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 

深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

腾讯云计算（北京）有限责任公司 京ICP证150476号 |  京ICP备11018762号 | 京公网安备号11010802020287

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档

Copyright © 2013 - 2025 Tencent Cloud.

All Rights Reserved. 腾讯云 版权所有

登录 后参与评论
3
目录
本文部分代码块支持一键运行，欢迎体验
本文部分代码块支持一键运行，欢迎体验