管理磁盘空间对系统管理员来说是一件重要的日常工作。一旦磁盘空间耗尽就需要进行一系列耗时而又复杂的任务，以提升磁盘分区中可用的磁盘空间。它也需要系统离线才能处理。通常这种任务会涉及到安装一个新的硬盘、引导至恢复模式或者单用户模式、在新硬盘上创建一个分区和一个文件系统、挂载到临时挂载点去从一个太小的文件系统中移动数据到较大的新位置、修改 /etc/fstab 文件的内容来反映出新分区的正确设备名、以及重新引导来重新挂载新的文件系统到正确的挂载点。
问题描述： 一开发同事在linux下调一个程序老是报错说找不到表，但是登陆mysql，show tables查看明明是已经创建了这张表的！！如下： mysql> show tables; +-------------------------------------------+ | Tables_in_huan_db | +-------------------------------------------+ | advertisement
版权声明：本文为王小雷原创文章，未经博主允许不得转载 https://blog.csdn.net/dream_an/article/details/50099809
版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。
基于基础网络构建的 VDI 虚拟云桌面环境，考虑从现有环境迁移至 TCE 私有云环境，将 VDI 虚拟云桌面环境部署到 TCE 私有云环境中。客户的 VDI 方案采用的是华为的云桌面方案，采用 FusionCompute 6.5.1 做虚拟化（该客户用的是本地盘，因此主要用于桌面虚拟化），华为标准桌面云-逻辑架构如下图所示：
MapReduce框架(Map/Reduce) MapTask/ReduceTask 数据分发机制 MapTask接口实现类 : 对一行数据进行处理,map方法 ReduceTask接口实现类：对一组数据进行处理，reduce方法 MapReduce工作机制 划分输入切片： 数据切片 job.split文件 分布式数据处理 K相同的KV数据分配给同个ReduceTask 组合拳：CompareTo + Partation + Group 分区控制/分组控制 MapReduce编程模型 map task的实现 读数据：TextInputFormat SequenceFileInputFormat DBInputFormat portation 分区 调用Partitaioner 的getPartition 决定数据分区 reduce task的实现 读数据：下载"区"数据，并且合并多个"同区"并且排序 写数据：TextInputFormat SequenceFileOutputFormat DBOutputFormat GroupingComparator：分组 确定那些数据属于同一组 对倾斜数据的处理 1. 通过Combiner组件进行maptask端局部聚合数据减轻倾斜影响 2. 通过打算倾斜数据来消除倾斜的影响，通过在Key值后面添加随机值，这样就可以均衡的分布在ReduceTaks端。 MapReduce编程模型具体实现及处理流程： MRAppMaster YarnChild（maptask/reducetask） main() 1. MapTask: ->TextInputFormat ->LineRecordFromat ->Mapper ->map() ->context ---> MapOutputCollector 环形缓存,存在大小限制 ->spilter (80%) 分区(partation)，排序(compare) ->write 溢出文件(可能包含多个文件，有序文件) 写本地磁盘 ->merge 分区有序，分区索引文件 多个maptask会生成多个merge文件 2. Shuffle: Store && Rest map task 生成的数据传输给reduce task 的过程 多个maptask会生成多个merge文件,这些文件会保存在NodeManager中，NodeManager具有Web服务，ReduceTask会通过Web服务下载merge文件，进行处理 3. ReduceTask -> http下载：从多个DataManager中下载merge文件下载单个分区的KV数据，多个文件合并为一个文件
vmstat命令是最常见的Linux/Unix监控工具，可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率，内存使用，虚拟内存交换情况,IO读写情况。这个命令是我查看Linux/Unix最喜爱的命令，一个是Linux/Unix都支持，二是相比top，我可以看到整个机器的CPU,内存,IO的使用情况，而不是单单看到各个进程的CPU使用率和内存使用率(使用场景不一样)。 选项 -a：显示活动内页； -f：显示启动后创建的进程总数； -m：显示slab信息； -n：头信息仅显示一次； -s：以表格方式显示事件计数器和内存状态； -d：报告磁盘状态； -p：显示指定的硬盘分区状态； -S：输出信息的单位。 vmstat 3 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 320 42188 167332 1534368 0 0 4 7 1 0 0 0 99 0 0 0 0 320 42188 167332 1534392 0 0 0 0 1002 39 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 19 1002 44 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 0 1002 41 0 0 100 0 0 0 0 320 42188 167336 1534392 0 0 0 0 1002 41 0 0 100 0 0 一般vmstat工具的使用是通过两个数字参数来完成的，第一个参数是采样的时间间隔数，单位是秒，第二个参数是采样的次数 r 表示运行队列(就是说多少个进程真的分配到CPU)，我测试的服务器目前CPU比较空闲，没什么程序在跑，当这个值超过了CPU数目，就会出现CPU瓶颈了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。 b 表示阻塞的进程,这个不多说，进程阻塞，大家懂的。 swpd 虚拟内存已使用的大小，如果大于0，表示你的机器物理内存不足了，如果不是程序内存泄露的原因，那么你该升级内存了或者把耗内存的任务迁移到其他机器。 free 空闲的物理内存的大小，我的机器内存总共8G，剩余3415M。 buff Linux/Unix系统是用来存储，目录里面有什么内容，权限等的缓存，我本机大概占用300多M cache cache直接用来记忆我们打开的文件,给文件做缓冲，我本机大概占用300多M(这里是Linux/Unix的聪明之处，把空闲的物理内存的一部分拿来做文件和目录的缓存，是为了提高 程序执行的性能，当程序使用内存时，buffer/cached会很快地被使用。) si 每秒从磁盘读入虚拟内存的大小，如果这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。我的机器内存充裕，一切正常。 so 每秒虚拟内存写入磁盘的大小，如果这个值大于0，同上。 bi 块设备每秒接收的块数量，这里的块设备是指系统上所有的磁盘和其他块设备，默认块大小是1024byte，我本机上没什么IO操作，所以一直是0，但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s，磁盘写入速度差不多140M每秒 bo 块设备每秒发送的块数量，例如我们读取文件，bo就要大于0。bi和bo一般都要接近0，不然就是IO过于频繁，需要调整。 in 每秒CPU的中断次数，包括时间中断 cs 每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中，我们一般做性能测试时会进行几千并发甚至几万并发的测试，选择web服务器的进程可以由进程或者线程的峰值一直下调，压测，直到cs到一个比较小的值，这个进程和线程数就是比较合适的值了。系统调用也是，每次调用系统函数，我们的代码就会进入内核空间，导致上下文切换，这个是很耗资源
在Linux系统中，交换分区（Swap Space）是一个特殊的文件系统分区，它用于当物理内存（RAM）不足时，将一部分内存中的数据暂时转移到硬盘中，以便释放内存空间供系统继续使用。交换分区在Linux中起到了“虚拟内存”的作用，对于保障系统稳定运行至关重要。
堆（Heap）与栈（Stack）是开发人员必须面对的两个概念，在理解这两个概念时，需要放到具体的场景下，因为不同场景下，堆与栈代表不同的含义。一般情况下，有两层含义： （1）程序内存布局场景下，堆与栈表示两种内存管理方式； （2）数据结构场景下，堆与栈表示两种常用的数据结构。
版权声明：本文为王小雷原创文章，未经博主允许不得转载 https://blog.csdn.net/dream_an/article/details/50099741
选择快速选区工具，对图像进行大致选中，并对部分区域进行减选或者加选。选好人物后，对有可能透明的空白区域进行调整边缘来涂抹。
本例要求熟悉硬盘分区结构，使用fdisk分区工具在磁盘 /dev/vdb 上按以下要求建立分区：
众所周知LVM是Linux环境下对 磁盘进行管理的一种机制。用户在安装Linux操作系统时，难以分配合适的硬盘空间，当一个分区存放不下某个文件时， 这个文件因为文件系统的限制，也不能 跨越多个分区来存放。而遇到出现某个分区耗尽时，只有使用调整分区大小的工具。随着LVM功能的出现，这些问题都迎 刃而解，用户在无需停机的情况下可以方 便地调整各个分区大小。 但 是，今天我们讨论的不是LVM，而是分区工具对分区的操作技巧。有些发型版本默认安装Linux没有支持LVM，或者用户在安装时没有选择LVM，导致根 分区
堆排序是利用堆这种数据结构而设计的一种排序算法。以大堆为例利用堆顶记录的是最大关键字这一特性，每一轮取堆顶元素放入有序区，就类似选择排序每一轮选择一个最大值放入有序区，可以把堆排序看成是选择排序的改进。它的最坏，最好，平均时间复杂度均为O(nlogn)，它也是不稳定排序。首先简单了解下堆结构。
在本文[1]中，我们将回顾一些可用于检查 Linux 中磁盘分区的 Linux 命令行实用程序。
将创建的 SWAP 分区设置为永久分区,将 SWAP 路径写入到/etc/fstab文件中
在安装期间首先在 Linux 操作系统中创建分区，但是您也可以在安装后的任何时间添加、删除、修改和调整分区大小，磁盘分区管理器特别适用于添加新驱动器或 USB 记忆棒并且必须更改其文件系统时，有各种基于 GUI 和命令行的磁盘分区管理器，我们将在下面讨论它们的用法并帮助您选择最适合您的选项。
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/163940.html原文链接：https://javaforall.cn
在使用CentOS版本linux系统的时候，发现根目录(/)的空间不是很充足，而其他目录空间有很大的空闲，所以本文主要是针对现在已有的空间进行调整。
在使用Linux操作系统时，当磁盘空间不足或需求增加时，我们需要对磁盘进行扩容。LVM（Logical Volume Manager）是一种在Linux中管理磁盘空间和卷的方法，它提供了灵活的扩容和管理功能。本文将详细介绍使用LVM进行磁盘扩容的步骤和方法。
逻辑卷管理LVM是一个多才多艺的硬盘系统工具。无论在Linux或者其他类似的系统，都是非常的好用。传统分区使用固定大小分区，重新调整大小十分麻烦。但是，LVM可以创建和管理“逻辑”卷，而不是直接使用物理硬盘。可以让管理员弹性的管理逻辑卷的扩大缩小，操作简单，而不损坏已存储的数据。可以随意将新的硬盘添加到LVM，以直接扩展已经存在的逻辑卷。LVM并不需要重启就可以让内核知道分区的存在。
邓延军 (deng.yanjun@163.com), 硕士研究生, 西安电子科技大学软件工程研究所
什么是Linux swap space呢？我们先来看看下面两段关于Linux swap space的英文介绍资料:
看起来高端大气上档次的云计算还没有普及到最广大民众，就陷入价格战的惯性轮回，近一个星期时间，包括谷歌、亚马逊、阿里云、微软在内的大小云计算企业相继开始云计算降价血拼。 价格战由阿里云开启， 3月25日将云服务器价格下调，11款降价的ECS云服务器中，最高降幅达30%，而3月28日宣布的云储存降价更令人瞠目，用户使用较多的0-500G一档直减42%，几乎比国内同行便宜一半；而数据库服务则再次普降15%。 谷歌也随即降价，宣布云服务器、云储存和数据库服务价格分别下调32%、68%和82%。谷歌还向
今天是2021年的4月25日，2015年参加工作，到现在有6年了，前段时间做了个决定，离职休息一段时间，趁着休息把以前学过的，用过的，以及涉及不深的好好学习总结下。（以下总结都是基于CDH集群）
昨天学了Linux的这些命令，但是当关上电脑，我一点也想不起来语法，给出的练习题，我感觉我可以做出来，但发现我写不出命令，于是整理了笔记，通过梳理加记忆后对每个命令都有了认识。真的是好记性不如烂笔头呀~~~下面是笔记部分，希望自己有空可以翻一翻，加强记忆！
在本教程中，我们将参考Linux dd命令的一个实际示例，系统管理员可以使用该命令将以MBR或GPT布局样式分区的较大HDD的Windows操作系统或Linux操作系统迁移到较小的SSD。 在本节摘录中，我们将使用安装在具有多个分区的硬盘上的Windows系统作为示例。 在HDD以MBR方案分区并且包含具有多个逻辑分区的扩展分区或分区无序的情况下，该方法可能变得相当复杂。 如果是这样，我建议你不要使用这种方法。 在这种情况下，使用ddrescure更安全，它可以克隆整个磁盘布局（分区表和每个分区内的已使用块），而不会实际传输空的空间。 可以通过从Ubuntu主存储库安装gddrescue包获得DDrescure。
堆（Heap）与栈（Stack）是开发人员必须面对的两个概念，在理解这两个概念时，需要放到具体的场景下，因为不同场景下，堆与栈代表不同的含义。一般情况下，有两层含义：
树是一种非线性的数据结构，它是一种由有限个结点组成的具有层状结构的集合，把它叫做树是因为它看起来像一颗倒挂起来的树，叶子朝下，根root朝上。
Linux系统的Swap分区，即交换分区，通常也称为虚拟内存，Swap空间的作用可简单描述为：当系统的物理内存不够用的时候，就需要将物理内存中的一部分空间释放出来，以供当前运行的程序使用。那些被释放的空间可能来自一些很长时间没有什么操作的程序，这些被释放的空间被临时保存到Swap空间中，等到那些程序要运行时，再从Swap中恢复保存的数据到内存中。这样，系统总是在物理内存不够时，才进行Swap交换。其实，Swap的调整对Linux服务器，特别是Web服务器的性能至关重要。通过调整Swap，有时可以越过系统性能瓶颈，节省系统升级费用。
每个Linux使用者在安装Linux时都会遇到这样的困境：在为系统分区时，如何精确评估和分配各个硬盘分区的容量，因为系统管理员不但要考虑到当前某个分区需要的容量，还要预见该分区以后可能需要的容量的最大值。因为如果估计不准确，当遇到某个分区不够用时管理员可能甚至要备份整个系统、清除硬盘、重新对硬盘分区，然后恢复数据到新分区。
「 原谅和忘记就意味着扔掉了我们获得的最贵经验 -------《人生的智慧》叔本华」
在日常Linux系统管理中，存储管理是一项重要的任务。特别是在现代化的云计算环境中，需求可能随时改变，因此系统管理员需要灵活地调整存储资源。本文将展示如何使用Logical Volume Manager (LVM)扩展Linux文件系统。
可以看到，现有系统是一块硬盘sda，共64G，并分成两个分区，sda1直接挂载到/boot目录，sda2分区则交给了LVM来管理，并挂载到根目录/和/home目录
在 Linux 服务器上，分区方案对于数据存储和系统管理至关重要。当服务器的存储需求发生变化或者需要重新组织分区时，更改分区方案是一个常见的任务。
版权声明：本文为王小雷原创文章，未经博主允许不得转载 https://blog.csdn.net/dream_an/article/details/50099777
创建 FAT32 文件系统 （Linux 把 FAT32 识别为 vfat )
上一篇主要讲到了分区分库分表的概念，其实在不影响性能的情况下，我们完全可以使用单分区单库单表。但是业务量大的情况下，受到性能限制我们不得不选择使用分区分库分表。本篇是上一篇的拓展，本篇主要讲讲十几种我们如何使用分区分库分表。如果还未看过上一篇文章建议先阅读概念篇：Mysql分库分表(1) --- 概念篇
今天用虚拟机的时候，发现虚拟机快满了，提示磁盘空间小，不得不扩充虚拟机空间。经过百度搜索，终于搞定了，记录如下
在选择压缩算法的时候，首先要考虑的就是压缩比和压缩速率。压缩比主要是为了节省网络带宽和磁盘存储空间，而压缩速率主要影响吞吐量。
案例需求： 添加一块硬盘，需要将其分区，最终需要使用2G空间。 案例思路 增加一块硬盘 使用fdisk命令进行分区 格式化指定分区 创建一个空的目录作为挂载点 挂载使用 创建新的挂载点 挂载使用 步骤： 1. 增加硬盘 增加完硬盘记得重启系统 # lsblk 查看硬盘是否添加成功 ... sdb 8:16 0 20G 0 disk [root@zutuanxue ~]# fdisk -l /dev/sdb Disk /dev/sdb：20 GiB，21474836480 字节
在我们之前的文章中，我们介绍了什么是 LVM 以及能用 LVM 做什么，今天我们会给你介绍一些 LVM 的主要管理工具，使得你在设置和扩展安装时更游刃有余。
本文以属于Linux系统基本概念，如果以查找教程教程，解决问题为主，只需要查看本文后半部分。如需要系统性学习请查看本文前半部分。
在选择好系统镜像之后，如果选择安装程序光盘映像文件，会自动安装系统，虽然方便，但是会安装太多的服务和程序，并且会自动分区，所有我们选择稍后安装系统来手动的安装系统。
普通的二叉树是不适合用数组来存储的，因为可能会存在大量的空间浪费。而完全二叉树更适合使用顺序结构存储。现实中我们通常把堆(一种二叉树)使用顺序结构的数组来存储，需要注意的是这里的堆和操作系统虚拟进程地址空间中的堆是两回事，一个是数据结构，一个是操作系统中管理内存的一块区域分段。
注意：qcow2磁盘格式必须采用此方式进行扩展，不要采用dd方式，dd方式适用于raw格式。
目前互联网上主要有Windows、Uniux、Linux、Mac等不同功能特性的系统... ...废话不多说，教程马上开始。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
