前言 ---- 2T以上磁盘，建议分区为GPT格式 云上环境，单盘使用，建议直接使用裸盘 当前腾讯云文档中心提供的在线扩容只是 对裸盘(整块盘没有创建分区) 实现了在线扩容 主要分享：云盘在线扩容，无需卸载已挂载盘...，也无需重启系统 场景 ---- 云硬盘是云上可扩展的存储设备，您可以在创建云硬盘后随时扩展其大小，以增加存储空间，同时不失去云硬盘上原有的数据。...扩容磁盘完成后，需要将扩容部分的容量划分至已有分区内，或者将扩容部分的容量格式化成一个独立的新分区。...，如下图：则说明使用GPT 分区方式 扩容文件系统：操作系统 CentOS 7.2 云盘在线扩容，无需卸载已挂载盘，也无需重启系统 云上环境，若无特殊要求，建议直接使用整块裸盘，直接格式化创建文件系统.../dev/vdb现在为1.5T，要求不能卸载磁盘，也不能重启系统，实现业务无感知在线扩容 /dev/vdb1 具体操作步骤： 安装gdisk： yum install gdisk -y 查看Partion
墨墨导读：最近被问到PG在线扩容的问题，本文整理了整个过程，之前写过一篇文章，供大家参考：《PosgreSQL三种表空间使用方式》https://www.modb.pro/db/14119。 1....新建表修改database级别或者user级别(一般还是database级别)的默认表空间，只需配置一次，原有的数据表存储不改变，这种方式是推荐的。
最近线上有一套集群的存储存在瓶颈，导致经常会有报警，如果按照存储现状和稍后的假期的数据增长，很可能会带来一些意料之外的问题，所以整体评估后，决定对已有的集群先做在线扩容，待假期结束后再做缩容。...如果要实现在线扩容，达到的一个中间状态如下，即把已有的从库分片提上来作为物理分片，这样4个分片就可以快速扩展为8个分片。 ?...如果要实践，整个步骤如下： 1）配置数据分片的双主复制，停掉数据分片节点的MHA服务，避免服务扩容期间出现意料之外的情况 2）在中间件节点P2的datahost从4节点配置改为8节点，相应的datanode
需求 对正在运行的生产服务器进行在线不停机扩容卷大小，在这个过程中，不影响已有的数据，不会对已有的磁盘做格式化，只单纯增加容量。...大致分为以下三个步骤： 扩容使用中的卷Size； 扩容分区； 扩容文件系统； [root@ip-172-31-19-192 ~]# lsblk NAME MAJ:MIN RM SIZE RO...MOUNTPOINT xvda 202:0 0 100G 0 disk └─xvda1 202:1 0 100G 0 part / 调整卷大小 进入控制台，选择EC2 - 存储...-操作 - 修改卷 登陆实例调整大小 查看当前卷(磁盘)容量 使用lsblk命令查看当前磁盘的大小，发现已经成功扩容到200G了。...xfs文件系统使用xfs_growfs扩容磁盘的size。
现有扩容问题 元数据扩容: 1). 单个bucket存在object数量上限:受限于bucket的index shard数量，而shard数量存在上限。 2)....在线调整shard数量会对业务读写产生较大性能影响，并且调整时长无法预期，理论上object数量越多，reshard时间越长，随着object到达上亿级别，每次reshard时间都会越来越长同时还隐藏较大的元数据丢失风险...单个集群的元数据最终都存储在RocksDB中，需要考虑到随着object数量不断增加导致RocksDB实例过大的情况，大体积的DB实例一旦发生compaction会对底层性能和稳定性造成巨大影响。...单集群就算业务能够忍受OSD的扩容影响，也会始终受限于单个集群的机柜数量限制:一个集群不可能在同一个机房无限制的新增存储节点。 3)....沿用现有的S3存储模型以及标准协议，将多个底层bucket(带权重)聚合成一个大的bigbucket，用户所有的操作都基于同一个bigbucket进行，不再需要进行bucket切换。
之前介绍是针对ext4文件系统LVM分区在线扩容的，下面介绍XFS文件系统的LVM分区在线扩容操作 以/data分区为例 1、lsblk 或者fdisk –l查看新增的磁盘 例如/dev/sdb...6、扩容/data分区 xfs_growfs /dev/mapper/VolGroup-LogVol_data ? 7、df -Th验证 ?
，原有100G空间不够用了，将空间扩容至200G，CBS是腾讯云提供用于云服务器的持久性数据块级存储服务，云盘具有弹性，按需扩容特性，云盘可以任意的按需扩容。...[存储扩容概述] 不过云盘扩容时不是所有的场景下都可以任意扩容，云盘扩容具有两个限制： 系统盘不支持扩容，理论上系统盘也能够支持扩容，系统盘存放操作系统数据，扩容可能会造成系统启动异常 本地盘不支持扩容...Linux云服务器存储扩容 2.1....，下章节中演示基于裸设备文件文件系统存储空间扩容。...相比于裸设创建文件系统，使用MBR和GPT格式扩容时需要卸载磁盘，因此无法做到在线扩容，因此在云环境下推荐使用直接在裸设备上创建文件系统的方式，其更加便捷，易于实现，且扩容过程中可以在线扩容。
引言：设计数据存储方案时，Feed流、IM消息、订单等一些典型业务场景的，都有比较多的技术文章和教学课程；在线Excel场景下的文章却很匮乏，所以把自己近期对在线Excel存储选型的一些思考写下来，和大家一起交流...方案设计 经过上面的分析我们对数据库的需求有： 需求 是否必须 低延迟 必须 支持CP模型 必须 支持非结构化数据存储 必须 有亿级数据的存储方案 必须 有成熟的扩容方案 必须 冷热数据 非必须 各类数据库对比...最终选型 需求 MySQL MongoDB TiDB S3 低延迟 ✅ ✅ ✅ 支持CP模型 ✅ ✅ ✅ 支持非结构化数据存储 ❌ ✅ ❌ 有亿级数据的存储方案 ✅ ✅ ✅ ✅ 有成熟的扩容方案...总结 本文我们通过分析在线Exce场景，分析其中的关键问题，经过业务的设计让步之后，明确存储的必要需求，然后根据各种数据库的特点，最终选择合适的数据库。...最后 前几天刚写了《如何实现多人协作的在线文档》，今天又来写Excel。后续还会产出几篇，目的就是把在线协作场景的各种问题和大家交流学习。
对于Share-Nothing架构的分布式数据库来说，如何将数据均匀的分布到各个节点、在线扩容，以获取更大的存储容量和更高的并发访问量。...成为各大分布式数据库系统的一大挑战，今天我将对腾讯云数据库TBase的数据节点在线扩容方案做一个简单的分享。...为了迎接业务的快速增长，系统不可避免的需要进行扩容，传统的分布式数据库所采用hash(row)%nofdn，也就是说先对分布列计算hash值，然后使用这个值对节点个数取模来决定row存储在哪个节点。...分布式表中的每条记录通过hash(key)% #shardmap 来决定记录存储到哪个数据节点。 3. 每个数据节点上存储分配到本节点的shardid 信息，进而进行可见性判断。...image.png TBase的在线扩容过程： 1. 选择要迁移到新添加数据节点的shardid。 2. 通过shardid找到要迁移的数据，采取存量+增量的方式把数据迁移到新的数据节点。 3.
背景 接到生产业务需求，需要在线扩容ES集群且不能影响数据安全性，经过对Elasticsearch角色的分析，发现直接扩容Data节点最简单而且能满足需求。..."minimum_index_compatibility_version" : "6.0.0-beta1" }, "tagline" : "You Know, for Search" } 在线扩容节点
ArrayList 底层存储和动态扩容逻辑 ArrayList 作为最常用的容器之一，通常用来存储一系列的数据对象，O(1)级别的数据读写 I....新增，删除，读取逻辑 因为底层的数据结构为数组，所以根据index查询元素是常量级别开销，等同于获取数组中所索引为index处的元素 因此需要关注的就是新增一个元素，若数组容量不够，如何进行扩容...，后数组迁移，最后进行赋值 扩容逻辑： 优先扩容原来容量的1.5倍 若依旧不够，则扩容到恰好能容纳所有元素 在列表的最后添加元素，不要使用add(index,object)方法，会造成没必要的数组迁移调用...小结 ArrayList的底层存储为数组 ArrayList中可保存null，一个对象可以塞入多次 初始容量为10, 新增元素，若实际个数超过数组容量，则触发扩容逻辑 优先扩容原来容量的1.5倍 若依旧不够...，则扩容到恰好能容纳所有元素 只有添加元素会导致数组容量变化，删除不会 线程非安全，遍历过程中不允许修改列表
在集群资源紧张的情况下可通过动态的扩容节点来增加集群的计算能力，前面Fayson的文章讲过《如何在非Kerberos环境下对CDH进行扩容》、《如何使用Cloudera Manager在线为集群减容》。...本篇文章主要介绍如何为Kerberos环境的CDH集群在线扩容数据节点。Kerberos和非Kerberos的集群减容步骤是一样的，Fayson不会专门用文章来介绍。...上线DataNode节点并应用模板 4.执行Balance均衡集群数据 测试环境 1.CM和CDH版本为5.11.2 前置条件 1.CDH集群已安装成功并正常运行 2.集群已启用Kerberos 2.扩容集群环境说明...---- 1.扩容前集群节点信息 [pur3mbddcm.jpeg] 2.扩容前HDSF容量 [72j9otl41t.jpeg] 3.扩容前Yarn资源池情况 [mc7zvofan2.jpeg] 3....[4hvt12y6zf.jpeg] 10.常见问题 ---- 1.在启动新扩容节点DataNode角色时报错,提示：代码块部分可以左右滑动查看噢 + '[' nfs3 = datanode ']' +
我们前面已经介绍过静态PV是没办法进行扩容的，而且我们在用NFS做持久化存储的时候了解到要用动态PV并做扩容操作需要Kubernetes底层支持的存储，这次我们就用Glusterfs做扩容测试。...pvc-cfae01a0-cb37-4fcc-8640-8ef604ae3874 1Gi RWO glusterfs-storageclass 46s （4）、然后我们对其进行扩容...既然可以扩容，那么可以缩容吗？...结论：如果动态PV要进行扩容需要满足以下条件： 需要是kubernetes支持的存储，开发能力强的也可以自己开发使其支持第三方存储 需要在sc中开启allowVolumeExpansion: true...存储设备要有足够的存储能力
写在前面 最近收到监控系统的报警，一看是服务器的磁盘的存储超出了阈值。此时第一时间想到的就是要给服务器扩容了，说到服务器扩容，其实没有小伙伴们想的那么复杂。...简单点来说，服务器扩容可以分为两种：一种是增加服务器的数量；另一种是增加单台服务器的存储。今天，我们就来说说如何增加单台服务器的存储容量。...： https://github.com/sunshinelyz/technology-binghe https://gitee.com/binghe001/technology-binghe 服务器扩容
Request 值 CPU/MEM 升配 修改 CPU/MEM 值， 重启 VM 即可 virtctl restart Kubevirt 也支持热升配[2]，不停机，但有些限制，比如内核版本，存储读写模式等...，后续实践后分享 磁盘在线扩容[3] 开启磁盘扩容功能 kubectl -n kubevirt edit kubevirts.kubevirt.io kubevirt spec: configuration...: developerConfiguration: featureGates: - ExpandDisks 查看当前数据盘大小，为500Gi 在线扩容到 600G 步骤...， 手动修改关联 PVC 的大小即可， openebs-lvm 会自动扩容 ... spec: resources: requests: storage: "600Gi" 登录服务器...，扩容文件系统 resize2fs /dev/vdb # ext4 文件系统，数据盘为 vdb 固定 IP、设置亲和性[4] 因为暂时还没实现固定 IP， 但是担心 虚拟机重启， IP 发生改变，对业务产生影响
通过设置镜像目录来扩容本地存储空间： 在对应磁盘上新建要用来存储的文件夹： sudo mkdir /home/磁盘名称/用户名 指定文件夹的拥有者： sudo chown -R 用户名:users.../home/磁盘名称/用户名 创建从存储文件夹到本地镜像目录的软链接： ln -s /home/磁盘名称/用户名 ~/镜像目录 ?
uid的模式，所以从研发还是数据存储来说，改造幅度都比较大。 ...2）在线变更，这里我说的在线变更拆分为了4类场景。...，比如整个结构的变更都可以在从库端进行统一调整，因为这种数据类型的扩容是具备兼容性的，所以原生的复制不会产生直接影响，而且即使执行时间长一些，对于线上业务来说是几乎无感知的，等变更完成之后，就可以快速通过服务切换的方式将集群从原本的主库切换到从库...3）业务在线迁移 这一类场景对于后端数据存储是相对简单的，就是提供一个新的数据库，让业务来完成整体的迁移和切换，这种情况下，对于研发的能力要求较高，所有的关键操作都是通过研发在线迁移的方式来实现。 ...如果后端的数据存储在梳理中修改范围更加的庞大，则需要根据细化的业务场景来选择当前更合适的方案。
首先，强调一个概念，在线扩容系统盘扩的是容量，不是分区，对云平台来说，分区不可控，容量可控，扩容能产品化，扩展分区需要自己来。...powershell命令： $DiskOps=@" select disk 0 select volume c extend exit "@ $DiskOps | diskpart.exe | Out-Null 在线扩容系统盘扩的是容量...接口只能一台一台操作，api explorer操作的话只需要选定地域后指定3个参数（cvm实例id、系统盘目标大小、在线扩容） 当然，如果写代码的话，搞个简单的循环，就可以实现多台机器的操作（如果系统盘目标大小一样...，地域一样，只是调系统盘大小，意味着每次只需要换cvm intanceid，也就是说搞个记录cvm intanceid的数组，每次传数组的一个值来调用接口即可） 在线扩容一般没有风险，可以先拿一台机器做个验证...(注意提交扩容后等一会儿，然后重新扫描磁盘才会看到C分区后面的空间，一些高版本系统可能会自动刷出来，无需重新扫描磁盘，但最好操作一下) 在多个实例全部扩容系统盘后，就可以批量扩展卷实现多台机器自动扩容C
pvremove /dev/xvdb1 # 删除pv Labels on physical volume "/dev/xvdb1" successfully wiped 从lv删除到pv完成后，正式开始扩容操作... swap centos -wi-ao---- 1.00g 到这里，根分区的LVM已经扩容完成了...893M 0 893M 0% /sys/fs/cgroup /dev/xvda1 497M 161M 337M 33% /boot 因为目前系统还不知道你已经扩容好了
本文讨论了分布式数据库在在线扩容方面的挑战， 详细解释了一般分布式数据库和 TiDB 在扩容机制上的不同。...一般分布式数据库在线扩容是怎么做的集中式数据库因为其架构本身的限制，一般来说想要实现在线扩容是比较困难的，这里暂且不予讨论，我们主要了解一下一般分布式数据库的扩容是如何进行的。...基于存算分离的架构，TiDB 可以单独进行计算层扩容和存储层扩容。计算层的扩容相对简单，因为 TiDB Server 本身是无状态的。...针对存储节点， TiKV 的扩容与一般分布式数据库的扩容机制是完全不同的，这主要因为 TiKV 是一种 基于 Multi Raft 协议的分布式存储引擎 ，而不是像 Greenplum 或分库分表那种底层是多个...因此， 存储节点的扩容也几乎不会影响现有的业务 。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
腾讯会议
云直播
对象存储
