最近需要基于linux文件系统的扩展属性，做一些自定义的操作；在这里对调研过程进行简要记录；我们常见的很多服务如glusterfs 等，都是使用文件扩展属性做一些定制化的操作；
# gluster volume heal VOLNAME info split-brain
建立完善的cephfs的扩容方案，满足cephfs用户数据存储空间在各种场景下的扩容需求。目前扩容只涉及到用户的数据存储，元数据部分因为空间使用率较低所以不需要考虑扩容。
– 查看dfs帮助信息 [root@hadp-master sbin]# dfs Usage: dfs [generic options] [-appendToFile … ] [-cat [-ignoreCrc] …] [-checksum …] [-chgrp [-R] GROUP PATH…] [-chmod [-R] <MODE[,MODE]… | OCTALMODE> PATH…] [-chown [-R] [OWNER][:[GROUP]] PATH…] [-copyFromLocal [-f] [-p] [-l] … ] [-copyToLocal [-p] [-ignoreCrc] [-crc] … ] [-count [-q] [-h] …] [-cp [-f] [-p | -p[topax]] … ] [-createSnapshot []] [-deleteSnapshot ] [-df [-h] [ …]] [-du [-s] [-h] …] [-expunge] [-find … …] [-get [-p] [-ignoreCrc] [-crc] … ] [-getfacl [-R] ] [-getfattr [-R] {-n name | -d} [-e en] ] [-getmerge [-nl] ] [-help [cmd …]] [-ls [-d] [-h] [-R] [ …]] [-mkdir [-p] …] [-moveFromLocal … ] [-moveToLocal ] [-mv … ] [-put [-f] [-p] [-l] … ] [-renameSnapshot ] [-rm [-f] [-r|-R] [-skipTrash] …] [-rmdir [–ignore-fail-on-non-empty]
创建2个目录，一个是/mnt/lustre/dir1默认是布局；另外一个是/mnt/lustre/dir2设置stripe_count=3,stripe_size=1M.然后分别在2个文件夹下拷贝大于1M的文件，然后在MDT和OST观察写入新文件的布局。
WORM将在08,09,10(月)01,02,03,04,05,06,07,08,09,10(日)周一,周二00:00:00-11:30:39禁用
在操作系统的文件中，还存在着一种我们可以自己定义的文件属性。这些属性不是保存在文件内容中，也不是直接可以通过 ls -al 所能看到的内容。它们可以将一个键值对信息永久得关联到文件上，一般现在的 Linux 系统都支持这样的文件扩展属性的功能。在操作系统中我们可以通过 setfattr、 getfattr、 attr 这些命令来操作它们。当然，PHP 也为我们提供了一个扩展可以用于对文件的扩展属性进行操作。
检查硬盘是否有故障 smartctl -H /dev/sdm1 查看进程文件描述符 # ps -ef|grep 169810 root 107496 175632 0 16:21 pts/
.glusterfs目录大小基本是等于当前brick中的所有文件大小，原因是里面主要存放的是brick中文件的硬链接。
与start对应的stop为停止相关的进程，比如sbin/hadoop-daemon.sh stop namenode
本次分享小菌带来的是关于在HDFS中shell的常用命令!
前面已经介绍了GlusterFS分布式存储集群环境部署记录，现在模拟下更换故障Brick的操作： 1）GlusterFS集群系统一共有4个节点，集群信息如下： 分别在各个节点上配置hosts、同步好系统时间，关闭防火墙和selinux [root@GlusterFS-slave data]# cat /etc/hosts 192.168.10.239 GlusterFS-master 192.168.10.212 GlusterFS-slave 192.168.10.204 GlusterFS-sla
GlusterFSFS恢复数据都是基于副本卷来说的，GlusterFSFS复制卷是采用镜像的方式做的，并且是同步事务性操作。简单来说就是，某一个客户要写文件时，先把这个文件锁住，然后同时写两个或多个副本，写完后解锁，这个操作才算结束。那么在写某一个副本时发生故障没有写成功，或者运行过程中某一个节点断电了，造成数据丢失了，等等，就能通过另一个副本来恢复。 现在这里说一个疑问： 就是GlusterFS写副本时同步写的，就是客户端同时写两份数据，这样就会产生两倍的流量，测2副本的分布式复制卷性能时，能明确看到性能
作者李志宇，腾讯云后台开发工程师，日常负责集群节点和运行时相关的工作，熟悉 containerd、docker、runc 等运行时组件。近期在为某位客户提供技术支持过程中，遇到了 containerd 镜像丢失文件问题，经过一系列分析、推断、复现、排查，最终成功找到根因并给出解决方案。现将整个详细处理过程整理成文分享出来，希望能够为大家提供一个有价值的问题处理思路以及帮助大家更好地理解相关原理。
微博有大量的用户数据，为了分析微博用户的行为。我们可以将微博的数据上传到HDFS，然后供其他大规模文本、情感分析程序来处理。
上面模拟的故障是gluster节点的存储目录所在的分区挂载失败，导致存储目录不在的数据修复方法。
文件系统（FS）shell包括各种类似shell的命令，这些命令直接与Hadoop分布式文件系统（HDFS）以及Hadoop支持的其他文件系统交互，例如本地FS，HFTP FS，S3 FS等。HDFS文件系统相关操作，主要使用以下2个命令：
文件系统（FS）Shell 包括各种类似于Shell 的命令，这些命令可直接与Hadoop分布式文件系统（HDFS）以及Hadoop支持的其他文件系统（例如本地FS，HFTP FS，S3 FS等）进行交互。 FS Shell通过以下方式调用：
shell命令选项： [root@node1 bin]# hdfs dfs -usage Usage: hdfs dfs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] <MODE[,
在linux 2.2版本之前，当内核对进程进行权限验证的时候，可以将进程划分为两类：privileged(UID=0)和unprivilege(UID!=0)。其中privileged的进程拥有所有内核权限，而unprivileged则根据如可执行文件的权限(effective UID, effective GID，supplementary group等)进行判断。
------------------------------------------------------------------------------
bin/hadoop fs 具体命令 or bin/hdfs dfs 具体命令 都是可以的。
众所周知，Hadoop 提供了命令行接口，对HDFS中的文件进行管理操作，如读取文件、新建目录、移动文件、复制文件、删除目录、上传文件、下载文件、列出目录等。本期文章，菌哥打算为大家详细介绍 Hadoop 的命令行接口！希望大家看完之后，能够有所收获 |ू･ω･` )
-parent FID：每个OST上的对象存储了本对象FID的父MDT-Object，MDT-Object是以XATTR_NAME_FID扩展属性的方式存储在OST上的object。OST上的object的parent FID用来重构MDT上的MDT-Object上的LOV的扩展属性
HDFS命令官方文档： http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html
Hadoop包括各种shell类命令，它们直接与HDFS和Hadoop支持的其他文件系统交互。 bin/hdfs dfs -help列出了Hadoop shell支持的命令。 此外，命令bin/hdfs dfs -help command-name可以显示命令的更详细的帮助。 这些命令支持大多数普通的文件系统操作，如复制文件、更改文件权限等。 它还支持一些HDFS的特定操作，如更改文件的副本数。
接着上一篇Centos7下GlusterFS分布式存储集群环境部署记录文档，继续做一些补充记录，希望能加深对GlusterFS存储操作的理解和熟悉度。 ========================清理glusterfs存储环境========================= 由上面可知，该glusterfs存储集群有四个节点： [root@GlusterFS-master ~]# cat /etc/hosts ....... 192.168.10.239 GlusterFS-master 192.1
1、集群启动后，可以查看文件，但是上传文件时报错，打开web页面可看到namenode正处于safemode状态，怎么处理？
bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类。
最近我在kubernetes中使用了ceph的rbd及cephfs存储卷，遇到了一些问题，并逐一解决了，在这里记录一下。
测试环境 // 目前使用的是lustre 2.15.0[root@CentOS-Lustre-Client ~]$ lfs --version lfs 2.15.0 // 人为设置/bigfs/pg设置为2个分片，每个分片大小是1M[root@CentOS-Lustre-Client ~]$ lfs setstripe -c 2 -S 1048576 /bigfs/pg/[root@CentOS-Lustre-Client ~]$ lfs getstripe -v /bigfs/pg/ /big
此系列主要为我的学弟学妹们所创作，在某些方面可能偏基础。如果读者感觉较为简单，还望见谅！如果文中出现错误，欢迎指正~
Hadoop总结 - - - - - - - - - - - - - - - - - - - - - - - - - - - - 210
我们在Linux中使用自带的gcc和g++编译器进行编译的程序是针对X86架构的。而我们开发板大多都是ARM或者其他架构的开发板，我们就需要编译出针对其他架构的程序。
centos系统内核如何升级，有些小伙伴在使用centos系统时可能会遇到网卡不能使用，亮度不能调节，触摸板不能识别，等等问题，这些都是内核版本过低而导致，只需要把内核升级一下就可以， 下面为大家分享一下centos系统内核升级方法。
arm-none-linux-gnueabi-gcc是 Codesourcery 公司（目前已经被Mentor收购）基于GCC推出的的ARM交叉编译工具。可用于交叉编译ARM系统中所有环节的代码，包括裸机程序、u-boot、Linux kernel、filesystem和App应用程序。使用时，按照主机平台，可以下载以下任一版本中的一个，结果是一样的：
本文是为那些没有接触过Linux系统的人写的。了解Linux系统对于一个技术来人员可谓是必须的（即便不是和计算机直接相关的），而对于广大普通用户而言，只了解Windows虽然已经足够，不过来了解一下Linux这个系统我想还是有益处的（虽然很难立马显现）。 下面我就用一问一答的简单形式带大家初步了解Linux是什么： Q：用一句话概括Linux？ A : linux是一个操作系统，就和windows一样。 要了解linux，请先了解开放源代码运动。这是由理查德·斯托曼先生在上世纪80年代发起的一项运动。其主要
本文是为那些没有接触过Linux系统的人写的。了解Linux系统对于一个技术来人员可谓是必须的（即便不是和计算机直接相关的），而对于广大普通用户而言，只了解Windows虽然已经足够，不过来了解一下Linux这个系统我想还是有益处的（虽然很难立马显现）。
状态为 deinstall 即已经卸载，如果觉得看着不舒服的话可以使用 purge 连配置文件里一起彻底删除，清理内核列表
当Linux在1991年8月25日诞生时，它不过是当时21岁的Linus Torvalds的一个爱好。今天，Linux社区估计有超过8600万的强大用户。
Linux服务（Linux services）对于每个应用Linux的用户来说都很重要。关闭不需要的服务，可以让Linux运行的更高效，但并不是所有的Linux服务都可以关闭。今天安装了一次CentOs Linux，发现Linux启动的时候启动了好多服务，大部分都不知道是干什么的。因此着重了解了一下那些Linux服务（Linux services）可以关闭，那些Linux服务（Linux services）不能随意关闭。 在关闭Linux服务之前，需要了解一些概念： 什么是Linux服务/后台进程（Linu
需要分别清楚header和image，可以直接用apt-get remove来清除。
Oracle 11g RAC中，发现oc4j以及gsd服务都处于offline状态，这是Oracle 11g RAC默认情形。即便如此，并不影响数据库的使用，因为 oc4j 是用于WLM 的一个资源, WLM在 11.2.0.2 才可用。GSD则是用于支持dbca,srvctl,oem等的交互工具。本文描述将这两个服务切换到online。
有些小伙伴在使用Linux系统时可能会遇到网卡不能使用，亮度不能调节，触摸板不能识别，等等问题，这些都是内核版本过低而导致，只需要把内核升级一下就可以， 下面为大家分享一下Linux系统内核升级方法。
1991 年的 8 月 25 日，来自芬兰赫尔辛基大学的 Linus Torvalds 用 Minix 操作平台建立了一个新的操作系统内核，并把它发回 Minix Usenet 新闻组。此时，年仅 21 岁的大学生 Linus 不会意识到，自己当做兴趣爱好开发的一个小项目会在 29 年后发展成统治世界的庞大操作系统内核。
Linux 与 Linux 内核其实是不一样的，关于这个问题，我在之前的一篇文章中讲过（《Linux，Unix，GNU 到底有什么样的渊源？》）。Linux 的内核是由 Linus Torvalds 在1991年首次编写。它是操作系统的核心，包括设备驱动、文件系统、进程管理、网络通信等。但是操作系统光有内核，用户是没有办法操作的，所以很多厂商和 Linux 社区就在内核之上开发了很多工具，比如我们常用的 GNome桌面，FireFox浏览器、GIMP 图片编辑器等等。Linux 内核和这些应用一起打包后就被称作 Linux 发行版本。Linux 有很多的发行版本，我在之前的文章中（《这么多Linux版本，你究竟该怎么选择？》），对不同的版本做过比较。
操作系统堪称是IT皇冠上的明珠，Linux阅码场专注Linux操作系统内核研究, 它的文章云集了国内众多知名企业一线工程师的心得，畅销著作有《linux设备驱动开发详解 》等。
在现在的生活，生产，研究等领域，Linux已经无所不在，从我们使用的手机，车载设备，到服务器，桌面电脑等，Linux已经成为这个世界方方面面的基石。尤其对于参与技术有关工作的你学习Linux是必须的，那么，该如何有效的学习呢？Linux从诞生至今，已经是一个非常庞大且复杂的系统，下图是Linux系统代码行数的统计（参考linuxcounter）：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
