前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >GlusterFS 4.1 深入使用

GlusterFS 4.1 深入使用

原创
作者头像
jackxiao
发布2021-11-16 16:55:37
4110
发布2021-11-16 16:55:37
举报
文章被收录于专栏:DevOps运维DevOps运维

1 基本命令

代码语言:javascript
复制
gluster peer probe	添加节点
gluster peer detach	移除节点
gluster volume create	创建卷
gluster volume start $VOLUME_NAME	启动卷
gluster volume stop $VOLUME_NAME	停止卷 
gluster volume delete $VOlUME_NAME	删除卷
gluster volume quota enable	开启卷配额
gluster volume quota disable	关闭卷配额
gluster volume quota limitusage	设定卷配额

2 增加副本及磁盘平衡

2.1 动态增加副本

glusterfs可以动态的增加副本,但是由于采用的hash方式动态计算出的数据存储位置,因而新增加的副本并不会有数据,需要手动执行磁盘数据平衡才行

代码语言:javascript
复制
# 添加新副本,要是3的倍数
gluster volume add-brick gv1 replica 3 \
  gf-node01:/data/brick3/gv1 \
  gf-node02:/data/brick3/gv1 \
  gf-node03:/data/brick3/gv1 \
  force
  
# 查看资源池信息
[root@gf-node01 ~]# gluster volume info gv1 
Volume Name: gv1
Type: Distributed-Replicate
Volume ID: e1e004fa-5588-4629-b7ff-048c4e17de91
Status: Started
Snapshot Count: 0
Number of Bricks: 3 x 3 = 9
Transport-type: tcp
Bricks:
Brick1: gf-node01:/data/brick1/gv1
Brick2: gf-node01:/data/brick2/gv1
Brick3: gf-node02:/data/brick1/gv1
Brick4: gf-node02:/data/brick2/gv1
Brick5: gf-node03:/data/brick1/gv1
Brick6: gf-node03:/data/brick2/gv1
Brick7: gf-node01:/data/brick3/gv1
Brick8: gf-node02:/data/brick3/gv1
Brick9: gf-node03:/data/brick3/gv1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
performance.client-io-threads: off

# 查看数据情况
[root@gf-node01 ~]# ls /data/brick*/*
/data/brick1/gv1:
test1  test2  test4  test5  test8  test9
/data/brick2/gv1:
test1  test2  test4  test5  test8  test9
/data/brick3/gv1:

2.2 磁盘平衡原因及操作

布局结构是静态的,当新的 bricks 加入现有卷,新创建的文件会分布到旧的 bricks 中,所以需要平衡布局结构,使新加入的 bricks 生效。 布局平衡只是使新布局生效,并不会在新的布局中移动老的数据,还需要对卷中的数据进行平衡。

2.2.1 布局平衡前写入数据并查看位置
代码语言:javascript
复制
[root@gf-node01 ~]# touch /mnt/aaa{1..9}
[root@gf-node01 ~]# ls /data/brick*/*
/data/brick1/gv1:
aaa2  aaa5  aaa8  test1  test2  test4  test5  test8  test9

/data/brick2/gv1:
aaa2  aaa5  aaa8  test1  test2  test4  test5  test8  test9

/data/brick3/gv1:

2.2.2 磁盘布局平衡后再写入
代码语言:javascript
复制
[root@gf-node01 ~]# gluster volume rebalance gv1 fix-layout start
volume rebalance: gv1: success: Rebalance on gv1 has been started successfully. Use rebalance status command to check status of the rebala
nce process.ID: eeec5c76-88c7-4793-8074-25565270c128

[root@gf-node01 ~]# touch /mnt/bbb{1..9}
[root@gf-node01 ~]# ls /data/brick*/*
/data/brick1/gv1:
aaa2  aaa5  aaa8  bbb3  bbb8  bbb9  test1  test2  test4  test5  test8  test9
/data/brick2/gv1:
aaa2  aaa5  aaa8  bbb3  bbb8  bbb9  test1  test2  test4  test5  test8  test9
/data/brick3/gv1:
2.2.3 进行磁盘存储平衡后再次查看
代码语言:javascript
复制
[root@gf-node01 ~]# gluster volume rebalance gv1 start
volume rebalance: gv1: success: Rebalance on gv1 has been started successfully. Use rebalance status command to check status of the rebala
nce process.ID: 5189b20c-6120-40d7-8e74-0ba114130a24

[root@gf-node01 ~]# ls /data/brick*/*
/data/brick1/gv1:
aaa1  aaa2  aaa3  aaa5  aaa8  bbb3  bbb5  bbb8  bbb9  test2  test3  test4  test8
/data/brick2/gv1:
aaa1  aaa2  aaa3  aaa5  aaa8  bbb3  bbb5  bbb8  bbb9  test2  test3  test4  test8
/data/brick3/gv1:
aaa2  aaa4  aaa5  aaa6  aaa7  aaa8  aaa9  bbb1  bbb2  bbb3  bbb4  bbb6  bbb7  bbb8  bbb9  test2  test4  test6  test7  test8

每做一次扩容后都需要做一次磁盘平衡。数据量大的话平衡很浪费性能,需要提前规划好平衡时间

3 glustefs分布式存储优化

可以参考

代码语言:javascript
复制
命令格式:
glustervolume set <卷><参数>
例如:
#打开预读方式访问存储
[root@node01 ~]# gluster volume set gv2 performance.read-ahead on
#调整读取缓存的大小
[root@mystorage gv2]# gluster volume set gv2 performance.cache-size 256M

Auth_allow		#IP访问授权;缺省值(*.allow all);合法值:Ip地址
Nfs.disabled	#关闭NFS服务;缺省值(Off);合法值:Off|on
Network.frame-timeout	#请求等待时间;缺省值(1800s);合法值:1-1800
Network.ping-timeout	#客户端等待时间;缺省值(42s);合法值:0-42
Cluster.min-free-disk	#剩余磁盘空间阀值;缺省值(10%);合法值:百分比
Performance.cache-size	#读缓存大小;缺省值(32MB);合法值:字节
Performance.quick-read	#优化读取小文件的性能
Performance.read-ahead	#用预读的方式提高读取的性能
Performance.io-cache	#缓存已经被读过的、
Performance.write-behind	#先写入缓存内,在写入硬盘,以提高写入的性能。
Performance.io-thread-count	#IO线程数;缺省值(16);合法值:0-65
Performance.cache-refresh-timeout	#缓存校验时间;缺省值(1s);合法值:0-61

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 2 增加副本及磁盘平衡
    • 2.1 动态增加副本
      • 2.2 磁盘平衡原因及操作
        • 2.2.1 布局平衡前写入数据并查看位置
        • 2.2.2 磁盘布局平衡后再写入
        • 2.2.3 进行磁盘存储平衡后再次查看
    • 3 glustefs分布式存储优化
    相关产品与服务
    对象存储
    对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
    领券
    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档