[TOC]
描述: 先来学习三大步,任何事物皆可用;
Q: 什么是NFS?为什么要NFS?
描述:NFS(Network File System)即网络文件系统, 利用网络使得在不同的机器之间共享文件。 通过NFS可以将另一台机器的某个目录挂载到本机的某个目录下, 在使用的时候挂载过来的目录就像在本地一样, 极大的方便了多台服务器之间的文件共享。
补充:在提到NFS服务的时候都会提到RPC服务,那么什么是RPC服务,为什么需要RPC服务呢?
答:RPC是Remote Procedure Call
的缩写即远程过程调用,其次关于为什么要RPC服务是因为NFS服务在启动的时候对于端口的选择是随机的,NFS在启动的时候回随机选择小于1024的端口进行数据的传输。而RPC的主要功能就是记录每个NFS服务所对应的端口号,当客户端尝试连接NFS服务时它会将其对应的端口号发送给客户端
,客户端根据获得的端口号进行连接。
rpc.nfsd:它是基本的NFS守护进程,主要功能是管理客户端是否能够登录服务器
rpc.mount:主要功能是管理NFS的文件系统,当客户端顺利通过nfsd登录NFS服务器后,在使用NFS服务所提供的磁盘前,还必须通过目录使用权限的验证,它会读取NFS的配置文件/etc/exports(初始文件为空)来对比客户端权限
portmap:主要功能是进行端口映射工作
idmap:进程实现用户映射和压缩
Q: NFS 特点有哪里?
Q:NFS 应用场景
NFS 版本说明
(1) NFSv2 and NFSv3
# NFSv3同时支持TCP和UDP传输层协议
# NFSv3使用大量辅助协议通过portmap/rpcbind获取rpc.mounted监听端口,再进行身份验证其次验证通过后nfs客户端才能与rpc.nfsd建立联系并访问共享
Example for NFSv2 and NFSv3:
# /srv/homes hostname1(rw,sync,no_subtree_check) hostname2(ro,sync,no_subtree_check)
mount -t nfs 11.11.165.115:/data /tmp/data -o proto=tcp -o nolock
(2) NFSv4:
Example for NFSv4:
# /srv/nfs4 gss/krb5(rw,sync,crossmnt,no_subtree_check)
# /srv/nfs4/homes gss/krb5i(rw,sync,no_subtree_check)
# 客户端挂载过程需要通过mount –t nfs4指定NFS版本为4,默认采用nfsv3。
mount -t nfs4 192.168.78.1:/data /tmp/data
NFSv4和NFSv3的差别如下:
(1) NFSv4设计成了一种有状态的协议,自身实现了文件锁功能和获取文件系统根节点功能,不需要NLM和MOUNT协议协助了。
(2) NFSv4增加了安全性,支持RPCSEC-GSS身份认证。
(3) NFSv4只提供了两个请求NULL和COMPOUND,所有的操作都整合进了COMPOUND中,客户端可以根据实际请求将多个操作封装到一个COMPOUND请求中,增加了灵活性。
(4) NFSv4文件系统的命令空间发生了变化,服务器端必须设置一个根文件系统(fsid=0),其他文件系统挂载在根文件系统上导出。客户端需要使用“nfs server ip:/”挂载伪文件系统,伪文件系统一般使用RO方式共享,其他共享可以通过mount –bind选项在伪文件系统目录下挂载;
(5)NFSv4支持delegation。由于多个客户端可以挂载同一个文件系统,为了保持文件同步,NFSv3中客户端需要经常向服务器发起请求,请求文件属性信息,判断其他客户端是否修改了文件。如果文件系统是只读的,或者客户端对文件的修改不频繁,频繁向服务器请求文件属性信息会降低系统性能。NFSv4可以依靠delegation实现文件同步。当客户端A打开一个文件时,服务器会分配给客户端A一个delegation。只要客户端A具有delegation,就可以认为与服务器保持了一致。如果另外一个客户端B访问同一个文件,则服务器会暂缓客户端B的访问请求,向客户端A发送RECALL请求。当客户端A接收到RECALL请求时将本地缓存刷新到服务器中,然后将delegation返回服务器,这时服务器开始处理客户端B的请求。
(6) NFSv4修改了文件属性的表示方法。由于NFS是Sun开发的一套文件系统,设计之出NFS文件属性参考了UNIX中的文件属性,可能Windows中不具备某些属性,因此NFS对操作系统的兼容性不太好。NFSv4将文件属性划分成了三类:
* Mandatory Attributes: 这是文件的基本属性,所有的操作系统必须支持这些属性。
* Recommended Attributes: 这是NFS建议的属性,如果可能操作系统尽量实现这些属性。
* Named Attributes: 这是操作系统可以自己实现的一些文件属性。
(7)服务器端拷贝: 如果客户需要从一个NFS服务器拷贝数据到另外一个NFS服务器,nfsv4可以让两台NFS服务器之间直接拷贝数据,不需要经过客户端。
(8)资源预留和回收:NFSv4为虚拟分配提供的新特性。随着存储虚拟分配功能的普及使用,nfsv4可以为预留固定大小的存储空间;同样在文件系统上删除文件后,也能够在存储上面释放相应空间。
(9)国际化支持: NFSv4文件名、目录、链接、用户与组可以使用 UTF-8字符集,UTF-8兼容ASCII码,使得NFSv4支持更多语言。
(10)RPC合并调用:NFSv4允许将多个请求合并为一个rpc引用,在NFSv3每个请求对应一个rpc调用。WAN环境中,NFSv4合并rpc调用可以显著降低延迟。
(11)安全性:NFSv4用户验证采用“用户名+域名”的模式,与Windows AD验证方式类似,NFSv4强制使用Kerberos验证方式。(Kerberos与Windows AD都遵循相同RFC1510标准),这样方便windows和*nix环境混合部署。
(12)pNFS并行NFS文件系统,元数据服务器负责用户请求调度、数据服务器负责客户请求处理。pNFS需要NFS服务器和客户端协同支持,pNFS架构示意图如下:
WeiyiGeek.pNFS架构
NFS 服务协议 描述:#对于不同的网络情况,有针对地选择 UDP 或 TCP 传输协议。传输协议可以自动选择,也可以手动设置。
# 一般情况下,使用 TCP 的 NFS 比较稳定,使用 UDP 的 NFS 速度较快。
# 在机器较少,网络状况较好的情况下,使用 UDP 协议能带来较好的性能。
# 当机器较多,网络情况复杂时,推荐使用 TCP 协议(V2 只支持 UDP 协议)。
# 在局域网中使用 UDP 协议较好,因为局域网有比较稳定的网络保证,使用 UDP 可以带来更好的性能。
# 在广域网中推荐使用 TCP 协议,TCP 协议能让 NFS 在复杂的网络环境中保持最好的传输稳定性。
客户端连接NFS服务的过程:
1.客户端首先向NFS服务所在的服务器的RPC服务发起请求RPC服务的端口固定为 111
$rpcinfo -p 192.168.1.216
# program vers proto port service
# 100000 4 tcp 111 portmapper
# 100003 3 tcp 2049 nfs
# 100003 4 tcp 2049 nfs
# 100227 3 tcp 2049 nfs_acl
# 100003 3 udp 2049 nfs
# 100227 3 udp 2049 nfs_acl
```
* 2.RPC服务在接收到客户端的请求之后,找到注册的NFS服务所对应的端口号,并将端口号发送给客户端例如:
```bash
tcp 0 0 192.168.1.216:2049 192.168.1.216:885 ESTABLISHED off (0.00/0/0)
3.客户端根据获取到NFS端口号进行连接;
测试环境:CentOS Linux release 7.8.2003 (Core) NFS server端配置
# 1.检查服务器是否安装了nfs-util和rpcbind两个包
$rpm -qa | grep nfs
#nfs-utils:NFS服务的全程序,包括rpc.nfsd、rpc.mountd这两个daemons和相关文档说明,以及执行命令文件等。
nfs-utils-1.2.3-54.el6.x86_64
nfs-utils-lib-1.1.5-9.el6.x86_64
$rpm -qa | grep rpcbind
#rpcbind:Centos.x下面RPC的主程序。NFS可视为一个rpc程序,在互动任何一个RPC程序之前,需要做好端口和功能的对应映射工作,这个映射工作就是由RPCBIND服务来完成的。因此,在提供NFS服务之前必须先启动RPCBIND服务。
rpcbind-0.2.0-11.el6.x86_64
# 2.如果没安装进行安装上述两个包即可
$yum install –y rpcbind nfs-utils
# 正在安装:
# nfs-utils x86_64 1:1.3.0-0.66.el7_8 updates 412 k
# rpcbind x86_64 0.2.0-49.el7 base 60 k
# 为依赖而安装:
# gssproxy x86_64 0.7.0-28.el7 base 110 k
# keyutils x86_64 1.5.8-3.el7 base 54 k
# libbasicobjects x86_64 0.1.1-32.el7 base 26 k
# libcollection x86_64 0.7.0-32.el7 base 42 k
# libevent x86_64 2.0.21-4.el7 base 214 k
# libini_config x86_64 1.3.1-32.el7 base 64 k
# libnfsidmap x86_64 0.25-19.el7 base 50 k
# libpath_utils x86_64 0.2.1-32.el7 base 28 k
# libref_array x86_64 0.1.5-32.el7 base 27 k
# libtirpc x86_64 0.2.4-0.16.el7 base 89 k
# libverto-libevent x86_64 0.2.5-4.el7 base 8.9 k
# quota x86_64 1:4.01-19.el7 base 179 k
# quota-nls noarch 1:4.01-19.el7 base 90 k
# tcp_wrappers x86_64 7.6-77.el7 base 78 k
# 3.设置开机启动
systemctl enable rpcbind nfs
# Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service.
# /etc/init.d/rpcbind start # deprecated
# /etc/init.d/nfs start # deprecated
# Starting NFS services: [ OK ]
# Starting NFS quotas: [ OK ]
# Starting NFS mountd: [ OK ]
# Starting NFS daemon: [ OK ]
# Starting RPC idmapd: [ OK ]
# 4.设置共享目录以及读写权限可以添加多台主机
# 创卷NFS共享目录
mkdir -p /nfs/{data,share,backdata,upload,demo}
# 共享目录所属者与组设置
chown -R nfsnobody.nfsnobody /nfs/share
# 文件 exports NFS 共享目录以及访问权限设置格式。
$vi /etc/exports
/nfs/data 192.168.1.0/255.255.255.0(rw,sync,root_squash,anonuid=500,anongid=500,insecure)
/nfs/share 192.168.8.0/24(rw,sync)
/nfs/backdata 192.168.8.7(rw) 192.168.8.8(ro)
/nfs/backdata 192.168.8.*(rw) 192.168.10.*(ro)
/nfs/upload 192.168.8.0/24(rw,all_squash,anonuid=1001,anongid=1001)
/nfs/demo 192.168.8.0/24(ro) *(ro,all_squash)
# 5.nfs server服务开启
# 开启前查看rpc信息
$rpcinfo -p
# program vers proto port service
# 100000 4 tcp 111 portmapper
# 100000 3 tcp 111 portmapper
# 100000 2 tcp 111 portmapper
# 100000 4 udp 111 portmapper
# 100000 3 udp 111 portmapper
# 100000 2 udp 111 portmapper
$systemctl start rpcbind
$systemctl start nfs
# 确认NFS服务器启动成功(只贴入新增部分)
$rpcinfo -p
# 100024 1 udp 39651 status
# 100024 1 tcp 40171 status
# 100005 1 udp 20048 mountd
# 100005 1 tcp 20048 mountd
# 100005 2 udp 20048 mountd
# 100005 2 tcp 20048 mountd
# 100005 3 udp 20048 mountd
# 100005 3 tcp 20048 mountd
# 100003 3 tcp 2049 nfs
# 100003 4 tcp 2049 nfs
# 100227 3 tcp 2049 nfs_acl
# 100003 3 udp 2049 nfs
# 100227 3 udp 2049 nfs_acl
# 100021 1 udp 38221 nlockmgr
# 100021 3 udp 38221 nlockmgr
# 100021 4 udp 38221 nlockmgr
# 100021 1 tcp 45789 nlockmgr
# 100021 3 tcp 45789 nlockmgr
# 100021 4 tcp 45789 nlockmgr
# 6.修改配置文件后立即生效/etc/exports
exportfs -av
# 7.CentOS7.8防火墙相关配置(正式环境请看下面的安全配置)
测试设置如下
# firewall-cmd --permanent --zone=public --add-service=nfs
# firewall-cmd --permanent --zone=public --add-service=mountd
# firewall-cmd --permanent --zone=public --add-service=rpc-bind
# firewall-cmd --reload
# 8.查看nfs共享目录信息
$showmount -e
Export list for k8s-yum-server:
/nfs/share *
Client 端配置 描述:客户端主要针对Linux与Windows等环境下进行相应的配置;
Linux :使用linux连接到nfs服务器的共享目录
# (1) NFS客户端安装
yum install nfs-utils -y
# (2) 使用mount命令直接挂载
mkdir -p /mnt/nfs/share nfs
mount -t nfs -o sync,tcp,noatime,rsize=1024,wsize=1024 EXPORT_MACHINE:/EXPORTED_DIR /DIR
mount –t nfs 10.10.107.201:/data /mnt/nfs/share
# (3) 方式将挂载配置写入到/etc/fstab中(值得学习)
10.10.107.201:/nfs/share /mnt/nfs/share nfs defaults 0 0
mount -a # 重新挂载所有设备
# (4) 查看客户端挂载信息
df -h | grep "nfs"
10.10.107.201:/nfs/share 46G 6.8G 39G 16% /mnt/nfs/share
# (5) Linux/windows相同取消挂载使用
umount /mnt
Windows: 可以直接添加Window功能:
# (1) 建立一个777的共享目录(注意权限貌似windwos上必须要x权限)
$ chmod 777 /data/ #方式1
$ chmod o+w /data/ #方式2
# (2)使用windows连接linux上面的NFS服务进行共享数据:
telnet 192.168.1.169 111
telnet 192.168.1.169 2049
# (3)windows功能中安装NFS客户户端,安装完成后会有mount命令
mount #查看挂载情况
mount -h #挂载帮助
# (4) 查看nfs挂载的目录(windows与linux相同)
showmount -e 10.10.107.21 #显示指定NFS服务器上的共享目录列表(或者叫输出列表)
# 导出列表在 10.10.107.221:
# /nfs/share 10.10.107.0/255.255.255.0
# (5)查看已被挂载的客户端信息
[root@Security-221 data]# showmount -a
All mount points on Security-221:
10.10.107.112:/data
# (6) 挂载nfs目录:mount \\NFS的IP地址或者主机名\nfs目录名 挂载点
mount \\10.10.107.221\data x:
x: 现已成功连接到 \\10.10.107.221\data
命令已成功完成。
# (7) 取消挂载:umount 挂载目录
umount x:
正在断开 x: \\10.10.107.221\data
命令已成功完成。
WeiyiGeek.windows安装NFS客户端
从Windows中实现文件上传的NFS中(重点:注意事项
):
方式1:就是将共享文件的权限设置为777,但是这样是极不安全的
WeiyiGeek.Windwos连接NFS客户端
方式2:修改win7对nfs分区只读属性 Win7 NFS客户端使用mount命令挂载NFS服务之后,文件系统对Win7只读,无法写入文件,无法新建文件夹,此时使用mount命令可以查看到如下状态:
本地 远程 属性
-------------------------------------------------------------------------------
x: \\10.10.107.221\data UID=-2, GID=-2
rsize=32768, wsize=32768
mount=soft, timeout=1.6
retry=1, locking=no
fileaccess=755, lang=GB2312-80
casesensitive=no
sec=sys
#UID=-2由于在存储设备上共享出来的NFS文件系统归属于root权限,并且无法修改该所属用户,而Windows通过UID=-2的用户去写,肯定写不进去。
解决办法: 让Win7在挂载NFS的时候将UID和GID改成0即可
打开注册表:HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\ClientForNFS\CurrentVersion\Default
增加两项:AnonymousUid,AnonymousGid
# PowerShell
New-ItemProperty "HKLM:\SOFTWARE\Microsoft\ClientForNFS\CurrentVersion\Default" -Name AnonymousUid -value 0 -propertyType dword
New-ItemProperty "HKLM:\SOFTWARE\Microsoft\ClientForNFS\CurrentVersion\Default" -Name AnonymousGid -value 0 -propertyType dword
WeiyiGeek.register
测试环境:
cat /etc/lsb-release
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=20.04
DISTRIB_CODENAME=focal
DISTRIB_DESCRIPTION="Ubuntu 20.04.1 LTS"
NFS Server/Client 适用系统:Debian/Ubuntu
# Step1.服务端、客户端安装
# - Install Required Packages(Server)
$apt-get update
$apt-get install nfs-kernel-server rpcbind
# - Client Side SetUp (Client端)
$apt-get install nfs-common rpcbind
# Step2.Configure NFS privilege
# rpcbind 配置文件
$nano /etc/default/rpcbind
OPTIONS=""
# 设置允许连接的ip
nano /etc/hosts.allow
portmap: 192.168.1.0/24 #Example Allow 192.168.1.0/24 to be Accessed on Network
# Configure idmapd
$nano /etc/default/nfs-common
NEED_IDMAPD=YES
STATDOPTS="--port 30004"
# 配置mountd服务端口为30005:
$nano /etc/default/nfs-kernel-server
RPCMOUNTDOPTS="--manage-gids --port 30005"
# 映射的用户与组
$nano /etc/idmapd.conf
[General]
Verbosity = 0
Pipefs-Directory = /var/lib/nfs/rpc_pipefs
Domain = localdomain
[Mapping]
Nobody-User = nobody
Nobody-Group = nogroup
$nano /etc/exports
/nfs/share 192.168.1.0/255.255.255.0(rw,sync,no_root_squash,no_subtree_check)
/storage *(rw,sync,no_root_squash,no_subtree_check)
# Step3、配置共享目录
mkdir -p /nfs/share
# Step4、启动RPC服务于nfs共享服务
systemctl enable rpcbind nfs-server.service
# 启动
/etc/init.d/nfs-kernel-server start
/etc/init.d/rpcbind start
systemctl start rpcbind nfs-server.service
# 停止
/etc/init.d/nfs-kernel-server stop
/etc/init.d/rpcbind stop
systemctl stop rpcbind nfs-server.service
# 更新 (nano /etc/exports)
exportfs -a
# Step5、客户端挂载情况
# NFS默认是用UDP协议,换成TCP协议挂载即可(网络不稳定)情况下
mount -t nfs 11.11.165.115:/tmp/test0920 /data -o proto=tcp -o nolock
$mount -l
10.10.107.201:/nfs/share on /mnt/nfs/share type nfs4 (rw,relatime,vers=4.2,rsize=262144,wsize=262144,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=10.20.172.241,local_lock=none,addr=10.10.107.201)
# Step6、卸载挂载点
umount /nfs/share
# 如果卸载不掉可以强制卸载挂载点
fuser -km /nfs/share 先使用这条命令
# Step7、防火墙规则配置 (PS: 通过rpcinfo命令可以查看 NFS 相关的端口)
ufw allow 111,2049,30005/tcp
ufw reload
Tips: 在设置防火墙时需注意 2049 和 111 端口是固定端口,而 mountd 和 nlockmgr 对应的端口是随机分配的,我看可以通过上述配置将其设置为固定端口。
Windos Server 2008 NFS 服务安装使用参考地址: https://www.cnblogs.com/sttchengfei/p/13542132.html
下面列出Windows中mount关于nfs相关的参数:
-a:把/etc/fstab中列出的路径全部挂载。
-t:需要mount的类型,如nfs等。
-r:将mount的路径定为read only。
-v mount:过程的每一个操作都有message传回到屏幕上。
rsize=n:在NFS服务器读取文件时NFS使用的字节数,默认值是4096个字节。
wsize=n:向NFS服务器写文件时NFS使用的字节数,默认值是4096个字节。
timeo=n:从超时后到第1次重新传送占用的1/7秒的数目,默认值是7/7秒。
retry=n:在放弃后台mount操作之前可以尝试的次数,默认值是7 000次。
soft:使用软挂载的方式挂载系统,若Client的请求得不到回应,则重新请求并传回错误信息。
hard:使用硬挂载的方式挂载系统,该值是默认值,重复请求直到NFS服务器回应。
intr:允许NFS中断文件操作和向调用它的程序返回值,默认不允许文件操作被中断。
fg:一直在提示符下执行重复挂载。
bg:如果第1次挂载文件系统失败,继续在后台尝试执行挂载,默认值是失败后不在后台处理。
tcp:对文件系统的挂载使用TCP,而不是默认的UDP。3
Q: soft和hard模式的作用以及异同?
描述: 其主要作用是当nfs的服务器端出现异常的时候,linux服务器的底层有重发机制,nfs客户端一直去向服务器端请求,判断服务器是否正常从而会一直阻塞。 (1) 当采用hard模式,服务器端出现异常,则客户端会一直发请求,直到服务器正常。 (2) 当用soft模式,服务器端出现异常,则客户端会按照timeo和retry参数进行超时和重试。例如
mount -t nfs -o rw,soft,timeo=30,retry=3 192.168.1.2:/home/nfs /mnt/local_path
即每隔3s向服务端发起请求,如果三次请求后还是返回错误则停止请求。
描述: 本文针对如下情况,描述尝试的方案:
因此,需要启动一个docker容器,用来运行NFS服务器,将同一个PVC的存储分别映射出不同的子目录供不同镜像挂载,以实现:对于镜像来说,可直接挂载自己的目录,不会对其它目录造成影响,其容器内部目录结构也不需要做任何改变。
Tips : 本文使用的镜像为 itsthenetwork/nfs-server-alpine:latest
,Steven Iveson的一个方便的NFS服务器映像,仅包含Alpine Linux和NFS v4,通过端口2049上的TCP。 参考地址: https://hub.docker.com/r/itsthenetwork/nfs-server-alpine
操作实践:
# 1.NFS服务器端单挂载点搭建
docker run -d --name nfs -h nfsserver --privileged -v /some/where/fileshare:/nfsshare \
-e SHARED_DIRECTORY=/nfsshare \
-p 2049:2049 \
-e PERMITTED="192.168.10.*" \
itsthenetwork/nfs-server-alpine:12
# -p 为容器映射出来主机的端口2049;
# -h 表示为本容器设定一个主机名,这样在其他容器中可使用主机名的方式访问(有可能容器在重启后其IP会变化);
# -e 为设置本容器的环境变更,表示本容器对外提供的根为【/】的挂载点。
-e READ_ONLY # will cause the exports file to contain ro instead of rw, allowing only read access by clients.
-e SYNC=true # will cause the exports file to contain sync instead of async, enabling synchronous mode. Check the exports man page for more information.
-e PERMITTED="10.11.99.*" # will permit only hosts with an IP address starting 10.11.99 to mount the file share.
# 2.NFS服务器端多挂载点搭建
docker run -d --name nfs-server --privileged -v /some/where/fileshare:/nfsshare -v /some/where/else:/nfsshare/another -e SHARED_DIRECTORY=/nfsshare -e SHARED_DIRECTORY_2=/nfsshare/another itsthenetwork/nfs-server-alpine:12
# 但您需要再 nfsd.sh 文件中加入额外的参数
if [ ! -z "${SHARED_DIRECTORY_2}" ]; then
echo "Writing SHARED_DIRECTORY_2 to /etc/exports file"
echo "{{SHARED_DIRECTORY_2}} {{PERMITTED}}({{READ_ONLY}},{{SYNC}},no_subtree_check,no_auth_nlm,insecure,no_root_squash)" >> /etc/exports
/bin/sed -i "s@{{SHARED_DIRECTORY_2}}@${SHARED_DIRECTORY_2}@g" /etc/exports
fi
# 3.客户端容器连接
docker run -it --name nfs_client --privileged \
--link nfs_server:nfs-server \
alpine:latest /bin/sh
# 4.客户端连接
sudo mount -v 10.11.12.101:/ /app/weiyigeek
sudo mount -v 10.11.12.101:/another /mnt/weiyigeek
Tips : 镜像中的 /etc/exports
文件包含以下nfs共享目录配置*(rw,fsid=0,async,no_subtree_check,no_auth_nlm,insecure,no_root_squash)
补充 【2022年6月13日 22:13:50】
方式1.docker-compose.yml
tee docker-compose.yml <<'EOF'
version: "2.1"
services:
# https://hub.docker.com/r/itsthenetwork/nfs-server-alpine
nfs:
image: itsthenetwork/nfs-server-alpine:12
container_name: nfs
restart: unless-stopped
privileged: true
environment:
- SHARED_DIRECTORY=/data
volumes:
- /app/storage/nfs:/data
ports:
- 2049:2049
EOF
# 为了测试我们的 NFS 服务器,让我们将 NFS 客户端安装到主机上:
$ sudo apt install nfs-client
# 现在,让我们将 NFS 挂载挂载到本地路径 /mnt
$ sudo mount -v -o vers=4,loud 192.168.0.4:/ /mnt
方式2
# 载入模块 nfs 依赖模块
modprobe nfs
modprobe nfsd
$ docker run --privileged -d --name nfs \
-v /app/storage/nfs:/nfsshare \
-e NFS_EXPORT_0='/nfsshare *(rw,sync,no_root_squash,no_all_squash,no_subtree_check,nohide,crossmnt)' \
-p 2049:2049 -p 2049:2049/udp \
-p 111:111 -p 111:111/udp \
-p 32765:32765 -p 32765:32765/udp \
-p 32767:32767 -p 32767:32767/udp \
erichough/nfs-server
$ showmount -e 10.20.176.101
Export list for 10.20.176.101:
/nfsshare *
描述:在进行使用NFS我们需要对其进行配置,以下是是其主要的软件结构;
NFS主要软件结构
exportfs 命令 - 维护导出的NFS文件系统的表 语法参数
# 语法
exportfs [-aruv]
/usr/sbin/exportfs [-avi] [-o options,..] [client:/path ..]
/usr/sbin/exportfs -r [-v]
/usr/sbin/exportfs [-av] -u [client:/path ..]
/usr/sbin/exportfs [-v]
/usr/sbin/exportfs -f
/usr/sbin/exportfs -s
# 参数
-a:全部挂载或卸载
-r:重新挂载/etc/exports配置文件中的信息
-u:卸载某一目录
-v:将内容显示输出
# 常用实例
# 将添加/etc/exports中列出的所有目录和/etc/exports.下的/etc/exports.d 到/var/lib/nfs/etab
exportfs -av
# 修改配置文件后重新加载
exportfs -r
# 将/usr/tmp目录导出到django主机上,允许来自客户端的不安全的文件锁定请求:
exportfs -o insecure_locks django:/usr/tmp
# 取消导出/usr/tmp目录:
exportfs -u django:/usr/tmp
# 取消导出/etc/exports和/etc/exports.d下面文件中列出的所有导出
exportfs -au
# 将/usr/tmp目录导出到IPv6链接-本地客户端:
exportfs [fe80::]/64:/usr/tmp
showmount 命令 - 显示NFS服务器的挂载信息 描述:showmount查询远程主机上的mount守护进程,以获取关于该机器上NFS服务器状态的信息。由于没有选项showmount列出了从该主机装载的nfs共享目录。showmount的输出被设计成好像是通过sort -u处理的。
基础语法:
# 语法
showmount [-ae] [hostname|IP]
showmount [ -adehv ] [ --all ] [ --directories ] [ --exports ] [ --help ] [ --version ] [ host ]
# 参数
-a,--all #以host:dir格式列出客户端主机名或IP地址和挂载的目录(一定可靠)
-d,--directories #仅列出某些客户端挂载的目录。
-e #显示指定NFS服务器的共享资源情况
--no-headers #输出不带标题栏 Suppress the descriptive headings from the output.
常用实例
# 1.查看NFS共享资源的情况
$showmount -e # 默认本机
$showmount -e [127.0.0.1|192.168.1.12]
# Export list for WeiyiGeek:
# /mnt/nfs/k8slog 192.168.1.218,192.168.1.217,192.168.1.216
# /mnt/nfs/k8sapp 192.168.1.218,192.168.1.217,192.168.1.216
# 2.仅列出某些客户端挂载的目录。
$showmount -d
# Directories on WeiyiGeek:
# /mnt/nfs/k8sapp
# /mnt/nfs/k8slog
# 3.客户端挂载情况
All mount points on WeiyiGeek:
192.168.1.216:/mnt/nfs/k8sapp
192.168.1.216:/mnt/nfs/k8slog
192.168.1.218:/mnt/nfs/k8sapp
192.168.1.218:/mnt/nfs/k8slog
该配置文件中的格式:<输出目录> [客户端1(权限)] [客户端2(权限)]
- 输出目录:指定共享的文件目录
- 客户端:指定可以访问共享资源的客户端
* 指定IP的方式:192.168.1.1
* 指定网段的方式:192.168.1.0/24或者192.168.1.0/255.255.255.0
* 指定主机名的方式:node1,但是这个主机名必须在记录在/etc/hosts文件内,需要能解析到对应的ip
* 通配符的方式:*表示所有的主机,*.bsmart.cn主机名通配
- 权限: 指该主机对nfs服务目录的相应权限(下面详解)
Q:如果我们在启动NFS服务之后又修改了 exports 文件的话怎么办,是不是需要重新启动NFS服务才能使的这些配置生效?
答案当然是否定的这样多麻烦我们有 exportfs 命令
权限说明:
# 帮助文档
man exportfs
# nosuid # 选项是禁止 set-UID 程序
# noexec # 选项是禁止直接执行其中的二进制文件
# 权限
rw # 选项是指定权限读写
ro # 选项是指定权限只读
sync # 选项是指同步模式,内存中数据时时写入磁盘
async # 选项是指不同步,把内存中数据定期写入磁盘中( 表示数据会先暂存于内存中,而非直接写入到硬盘中)
all_squash # 选项是指定无论client用什么账户连接上来,都会被转换成匿名用户
no_all_squash # 选项是指定无论client用什么账户连接上来,都不会被转换成匿名用户
root_squash # 选项是指定如果client以root用户连接上来的话,server端会将该用户转换为匿名用户进行访问。
no_root_squash # 选项是指定客户端采用root连接将不转换成匿名用户进行访问
anonuid=<UID> # 选项是指定匿名访问用户的本地用户UID,默认为nfsnobody(65534)
anongid=<GID> # 选项是指定匿名访问用户的本地用户组GID,默认为nfsnobody(65534)
secure(默认) # 选项是指定限制客户端只能从小于1024的tcp/ip端口连接服务器
insecure # 选项是指定允许客户端从大于1024的tcp/ip端口连接服务器
wdelay(默认) # 选项是指定检查是否有相关的写操作,如果有则将这些写操作一起执行(提高效率)
no_wdelay # 选项是指定若有写操作则立即执行,应与(sync)配合使用;
no_subtree_check # 选项是指定即使输出目录是一个子目录,nfs服务器也不检查其父目录的权限,(提高效率);
subtree_check(默认) # 选项是指定若输出目录是一个子目录,则nfs服务器将检查其父目录的权限;
hide # 在NFS共享目录中不共享其子目录
no_hide # 共享NFS目录的子目录,选项仅适用于NFSv2和NFSv3,当使用NFSv4时此选项不相关由于NFSv4从不隐藏下级文件系统。
crossmnt # 该选项与nohide类似但它使客户机能够访问所有文件系统挂载在标记为crossmnt的文件系统上;因此当子文件系统“B”挂载在父文件系统“a”上时,在“a”上设置crossmnt与在B上设置“nohide”具有相似的效果。如果之前设置过,nocrossmnt选项可以明确地禁用crossmnt
nocrossmnt
fsid=num|root|uuid #NFS需要能够标识它导出的每个文件系统,而通常它将为文件系统使用UUID(如果文件系统有这样的东西)或保存文件系统的设备的设备号(如果文件系统存储在设备上)。 由于不是所有文件系统都存储在设备上也不是所有文件系统都有uuid所以需要制定该选项显示的告诉; 对于NFSv4有一个特殊的文件系统,它是所有导出的文件系统的根,使用fsid=root或fsid=0指定的两者的意思完全相同。
# acl
# no_pnfs
# RPCSEC_GSS security 选项:您可以使用特殊的字符串“gss/krb5”,“gss/krb5i”,或“gss/krb5p”来限制访问客户端的rpcsec_gss安全,使用“sec=”导出选项:
sec=sys #后面是一个以冒号分隔的安全样式列表,它限制了对使用这些样式的客户机的导出,可用的安全样式包含sys (the default--no crypto‐ graphic security), krb5 (authentication only), krb5i (integrity protection), and krb5p (privacy protection)
示例说明:
# (1) 表示共享目录为/home/share 并 *.weiyigeek.top域中的所有主机都可以访问,但只有只读的权限,所有用户都映射成服务器上的uid为weiyi、gid为app的用户
/home/share/ .weiyigeek.top (ro,sync,all_squash,anonuid=weiyi,anongid=app)
# (2) 表示共享服务器 /root/share/ 目录只有192.168.1.2主机可以访问,且有读写权限;此主机用任何身份访问时,将客户机的用户都映射成服务器上的匿名用户(all_squash),相当于在服务器上用nobody用户访问该目录(若客户机要在该共享目录上保存文件(即写操作),则服务器上的nobody用户对该目录必须有写的权限)
/root/share/ 192.168.1.2(rw,insecure,sync,all_squash)
描述:exports配置文件中都有默认权限配置可通过etab文件查看,该文件中完整的记录了NFS共享资源的所有配置;
$cat /var/lib/nfs/etab
/nfs/share *(rw,sync,wdelay,hide,nocrossmnt,secure,no_root_squash,no_all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=65534,anongid=65534,sec=sys,rw,secure,no_root_squash,no_all_squash)
描述:在Linux系统中的文件都有访问权限,可以指定用户访问,那么我通过NFS访问文件权限是如何设定的呢?
比如我再NFS server上有一个文件的属主与属组都是weiyigeek,那我再client端普通用户weiyi访问这个文件,可以做修改吗?再比如如果是使用root用户访问这个文件,可以做修改吗?
NFS文件系统的权限访问的原则是:服务器端会以客户端的用户UID与GID等身份来尝试读取服务器端的文件系统
以下是NFS是如何判断是否一个文件可写的步骤:
根据上述步骤的话,可以想到一种情况,如果我client端是通过root账户连接的,那我是不是对所有的文件具有可读、可写权限;在exports文件中,设定权限的时候可以指定no_root_squash、root_squash、all_squash
,这三个就是控制我client连接上来的用户,最终在server端会以哪个用户进行访问, 对应着共享目录的权限。
Tips: nfs匿名用户nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin
NFS安全配置流程:
1.限制Client访问限制
## 1. 修改 /etc/hosts.allow 和 /etc /hosts.deny 来限制客户机数量。
$/etc/hosts.allow
portmap: 192.168.0.0/255.255.255.0 : allow
portmap: 140.116.44.125 : allow
$/etc/hosts.deny
portmap: ALL : deny
## 2.设置哪些客户端可以访问共享目录(一定不能是 * 号 通配符)
$vi /etc/exports
/nfs/share 192.168.1.2(rw,no_root_squash) 192.168.1.3(rw,no_root_squash)
## 3.防火墙访问限制(RPC 111/NFS 2049)使其除了NFS Client端可以看到共享资源外其它都不行;
# 下面这种方式在正式环境是不行得(所有的IP都能够访问)
# firewall-cmd --permanent --zone=public --add-service=nfs
# firewall-cmd --permanent --zone=public --add-service=mountd
# firewall-cmd --permanent --zone=public --add-service=rpc-bind
# firewall-cmd --reload
# 正确的做法
firewall-cmd --add-rich-rule "rule family=ipv4 source address=192.168.1.2 service name='nfs' accept"
firewall-cmd --add-rich-rule "rule family=ipv4 source address=192.168.1.2 service name='mountd' accept"
firewall-cmd --add-rich-rule "rule family=ipv4 source address=192.168.1.2 service name='rpc-bind'accept"
# 或者由于rpc和nfs除了使用111和2049端口号外还会部分端口号是动态的下面可能行不通
# firewall-cmd --add-rich-rule 'rule family=ipv4 source address=192.168.1.3 port port="111" protocol="tcp" accept'
# firewall-cmd --add-rich-rule 'rule family=ipv4 source address=192.168.1.3 port port="26-1024" protocol="tcp" accept'
# firewall-cmd --add-rich-rule 'rule family=ipv4 source address=192.168.1.3 port port="2049" protocol="tcp" accept'
# 对于iptables的社指定ip开放所有端口-iptables方式配置
iptables -A INPUT -s 192.168.1.2 -p all -j ACCEPT
service iptables save
## 4.防火墙不关闭,开放指定端口号
## 由于rpc和nfs除了使用111和2049端口号外,还会部分端口号是动态的,故需要先配置为静态端口
$vim /etc/sysconfig/nfs #CentOS系统 末尾增加如下静态端口
RQUOTAD_PORT=30001
LOCKD_TCPPORT=30002
LOCKD_UDPPORT=30002
MOUNTD_PORT=30003
STATD_PORT=30004
# firewall方式配置开放端口111,2049,30001,30002,30003,30004
firewall-cmd --zone=public --add-port=111/tcp --add-port=111/udp --add-port=2049/tcp --add-port=2049/udp --add-port=30001/tcp --add-port=30001/udp --add-port=30002/tcp --add-port=30002/udp --add-port=30003/tcp --add-port=30003/udp --add-port=30004/tcp --add-port=30004/udp --permanent
firewall-cmd --reload
# iptables方式配置开放端口111,2049,30001,30002,30003,30004
iptables -I INPUT -s 192.168.1.101 -p tcp -m multiport --dports 111,2049,30001,30002,30003,30004 -m comment --comment "NFS服务" -j ACCEPT
service iptables save
systemctl restart iptables.service
2.共享的文件目录权限
## 1. 配置 nosuid 和 noexec
# SUID (Set User ID) 或 SGID (Set Group ID) 程序可以让普通用户以超过自己权限来执行。很多 SUID/SGID 可执行程序是必须的,但也可能被一些恶意的本地用户利用,获取本不应有的权限。
#尽量减少所有者是 root,或是在 root 组中却拥有 SUID/SGID 属性的文件。
#如禁止 set-UID 程序与直接执行其中的二进制文件在 NFS 服务器上运行,可以在 /etc/exports 加入一行
/www www.abc.com(rw, root_squash, nosuid, noexec)
3.密码认证
## NFS V2 / V3 版本
$useradd nfsuser -s /sbin/nologin # 创建nfs认证用户
passwd nfsuser
$chown -R nfsuser:nfsuser /home/upload #建立的共享文件目录需要采用nfsuser共享用户权限
$cat /etc/passwd|grep nfs # 查看用户的uid与guid
nfsuser:x:1001:1001::/home/nfsuser:/sbin/nologin
$vi /etc/exports
/home/upload 192.168.8.0/24(rw,all_squash,anonuid=1001,anongid=1001) #设置NFS配置文件
## NFS V4 采用Gss/Kerberos进行认证(后续补充)
/srv/nfs4 gss/krb5(rw,sync,crossmnt,no_subtree_check)
mount.nfs4 192.168.1.2:/nfsdata /mnt/nfs #客户端
问题1.当NFS服务器出现网络故障,造成NFS-Client使用df -h或其它命令一直卡着不动时,解决方法如下
$ umount -lf /data
$ df -h
文件系统 容量 已用 可用 已用% 挂载点
/dev/mapper/centos-root 20G 1.2G 18G 6% /
devtmpfs 907M 0 907M 0% /dev
tmpfs 918M 0 918M 0% /dev/shm
tmpfs 918M 9.0M 910M 1% /run
tmpfs 918M 0 918M 0% /sys/fs/cgroup
/dev/sda1 497M 138M 359M 28% /boot
tmpfs 184M 0 184M 0% /run/user/0
Tips:/data请手动打,不要使用Tab键自动补全,否则又会卡死
问题2.在mount.nfs挂载时显示 mount.nfs: requested NFS version or transport protocol is not supported 错误 错误信息:
[root@nfs-server ~]# mount -v 192.168.10.101:/ /disk101/
mount.nfs: timeout set for Wed May 26 19:16:27 2021
mount.nfs: prog 100003, trying vers=3, prot=6
mount.nfs: portmap query retrying: RPC: Program not registered
mount.nfs: prog 100003, trying vers=3, prot=17
mount.nfs: portmap query failed: RPC: Program not registered
mount.nfs: requested NFS version or transport protocol is not supported
mount.nfs: timeout set for Wed May 26 19:24:27 2021
mount.nfs: trying text-based options 'vers=4.1,addr=192.168.1.10,clientaddr=192.168.1.10'
错误原因:由于服务器端的nfs版本和客户端的nfs版本不同导致传输协议不被支持。
解决办法:
# - 1.查看版本信息看到NFS支持的版本信息。
$ nfsstat -s # 服务端
$ nfsstat -c # 客户端
# Server rpc stats:
# calls badcalls badclnt badauth xdrcall
# 16 11449 0 11449 0
# Server nfs v4:
# null compound
# 16 100% 0 0%
# Server nfs v4 operations:
# op0-unused op1-unused op2-future access close commit
# 0 0% 0 0% 0 0% 0 0% 0 0% 0 0%
# create delegpurge delegreturn getattr getfh link
# 0 0% 0 0% 0 0% 0 0% 0 0% 0 0%
# lock lockt locku lookup lookup_root nverify
# 0 0% 0 0% 0 0% 0 0% 0 0% 0 0%
# open openattr open_conf open_dgrd putfh putpubfh
# 0 0% 0 0% 0 0% 0 0% 0 0% 0 0%
# putrootfh read readdir readlink remove rename
# 0 0% 0 0% 0 0% 0 0% 0 0% 0 0%
# renew restorefh savefh secinfo setattr setcltid
# 0 0% 0 0% 0 0% 0 0% 0 0% 0 0%
# setcltidconf verify write rellockowner bc_ctl bind_conn
# 0 0% 0 0% 0 0% 0 0% 0 0% 0 0%
# exchange_id create_ses destroy_ses free_stateid getdirdeleg getdevinfo
# 0 0% 0 0% 0 0% 0 0% 0 0% 0 0%
# getdevlist layoutcommit layoutget layoutreturn secinfononam sequence
# 0 0% 0 0% 0 0% 0 0% 0 0% 0 0%
# set_ssv test_stateid want_deleg destroy_clid reclaim_comp
$rpm -qa nfs-utils
nfs-utils-1.3.0-0.65.el7.x86_64
# - 2.在客户端挂载时指定nfs版本即可
mount -v -t nfs -o nfsvers=4.1 192.168.1.10:/ /weiyigeek
mount -v -t nfs -o nfsvers=3
mount -v -t nfs -o nfsvers=2
mount -t nfs -o soft,intr,timeo=5 10.10.10.10:/share /home/share
# - 3.另外一种情况就是访问受限(检查防火墙或者exports文件允许的主机访问)
/etc/exports:
# /rootfs *(rw,no_root_squash,sync,insecure)
/etc/hosts.allow:
# portmap mountd nfsd statd lockd rquotad : 192.168.1.*, 192.168.2.*
问题3.部署OS过程中遇到共享服务器目录后,客户机无法写入共享目录的问题,最后定位出来是安全加固修改nfs的配置/etc/exports造成的 解决办法:
加固前:/share *(rw,async,no_root_squash,no_subtree_check)
加固后:/share *(ro,async,no_root_squash,no_subtree_check)
问题4.在mount.nfs挂载时显示 nfs环境搭建报错clnt_create: RPC: Program not registered 错误
问题描述: 在使用docker搭建nfs服务端后采用showmount -e ip
检测NFS服务端情况的时会出现clnt_create: RPC: Program not registered
问题原因: 此错误表示rpc程序为注册成功,但是nfs服务注册不存在。
解决办法:
# (1) 停止全部服务然后再依次启动服务
systemctl stop rpcbind nfs
# (2) 注意先启动RPC服务
/etc/init.d/rpcbind start
/etc/init.d/nfs start
问题5.NFS挂载时出现”access denied by server while mounting”
问题情况: 内部一个nfs服务端 2 个 nfs客户端 1个 挂载成功一个失败, 挂载时加了一个参数 -v 查看相关消息发现挂载成功的输出。
mount.nfs: timeout set for Tue Sep 24 18:19:05 2019
mount.nfs: trying text-based options 'vers=4.1,addr=10.116.52.23,clientaddr=10.116.52.21'
mount.nfs: mount(2): Permission denied
mount.nfs: trying text-based options 'vers=4.0,addr=10.116.52.23,clientaddr=10.116.52.21'
mount.nfs: mount(2): Permission denied
解决方式: 挂载时添加参数 -o vers=3.0
mount.nfs: timeout set for Tue Sep 24 18:19:05 2019
mount.nfs: trying text-based options 'addr=10.116.52.23'
mount.nfs: prog 100003, trying vers=3, prot=6
mount.nfs: trying 10.116.52.23 prog 100003 vers 3 prot TCP port 2049
mount.nfs: prog 100005, trying vers=3, prot=17
mount.nfs: trying 10.116.52.23 prog 100005 vers 3 prot UDP port 20048
问题6.使用Docker搭建镜像时报ERROR: nfs module is not loaded in the Docker host's kernel (try: modprobe nfs)
错误解决方法
----> kernel module nfs is missing
----> ERROR: nfs module is not loaded in the Docker host's kernel (try: modprobe nfs)
# 临时生效
modprobe nfs
modprobe nfsd
# 永久生效
tee -a /etc/modules-load.d/modules.conf <<'EOF'
modprobe nfs
modprobe nfsd
EOF
1.Kerberos+LDAP+NFSv4 实现单点登录(中): https://blog.51cto.com/13752418/2443823
2.挂载NFS文件系统
配置Linux ECS实例
1. 连接到ECS实例 (了解如何连接)
2. 在ECS实例上安装NFS客户端:
Ubuntu
sudo apt-get update && sudo apt-get install nfs-common
3.执行以下命令,提高同时发起的NFS请求数量:
sudo echo "options sunrpc tcp_slot_table_entries=128" >> /etc/modprobe.d/sunrpc.conf
sudo echo "options sunrpc tcp_max_slot_table_entries=128" >> /etc/modprobe.d/sunrpc.conf
3.挂载NFS文件系统
1. 执行命令挂载NFS文件系统:
选择挂载点地址:
29ff549c8d-hjn7.cn-shenzhen.nas.aliyuncs.com
是否需要多台 ECS 同时编辑一个文件需要
sudo mount -t nfs -o vers=4,minorversion=0,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport 29ff549c8d-hjn7.cn-shenzhen.nas.aliyuncs.com:/ /mnt
2. 执行以下命令,如果结果中存在NFS文件系统的挂载地址,则说明挂载成功:
df -h | grep aliyun
3. 如果挂载失败,请参见挂载失败的排查与处理方法进行排查
4. 如果需要在ECS重启后自动挂载NFS文件系统,请参考自动挂载NFS文件系统进行配置