Last Updated on
前言
NFS(Network File System)即网络文件系统,它允许网络中的计算机之间通过TCP/IP网络共享资源。在NFS的应用中,本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件,就像访问本地文件一样。
这在如今微服务为首的架构环境下,非常实用,可以让微服务运行在多台服务器上,通过NFS实现文件同步,解决了微服务中的静态文件同步问题。任何一台服务器上的文件发生变化,都可以实时同步到别的主机上。
如图所示,用户在NFS客户端上操作文件会实时通过网络传到NFS服务端,然后写到服务端的磁盘上,文件实际都是存在了服务端,所以所有网络和磁盘的I/O压力都在服务端,所以一旦系统过大,负载过高时,其稳定性和时效性就得不到保障,所以NFS在中小型互联网公司总应用广泛,如果中大型互联网公司,当压力访问过大时,还会用到更复杂的分布式文件系统,例如:Moosefs(mfs)、GlusterFS、FastDFS 等等。
下面就详细记录介绍一下NFS网络文件系统的搭建
正文
1. 服务端安装
# 安装nfs 和 rpcbind(使用nfs服务,都需要安装的rpc服务),并配置开机启动
$ yum install -y nfs-utils rpcbind
# 启动nfs和rpcbind,并设置开机启动
$ systemctl enable nfs-server
$ systemctl enable rpcbind
$ systemctl start nfs
$ systemctl start rpcbind
# 查看两个服务状态,确保服务正常运行
$ systemctl status nfs
$ systemctl status rpcbind
# 创建要共享的文件,原先已经存在的文件夹则不用创建了
$ mkdir /mydata
# 为文件夹设置用户和用户组,需要设为nfsnobody
$ chown nfsnobody.nfsnobody /mydata
# 编辑nfs配置文件
$ vim /etc/exports
--------------------------------------------------------------------
# 添加配置,将本机的这个路径的文件作为nfs共享文件,共享给指定IP
# /mydata 192.168.0.2(rw,sync,all_squash)
# 或共享给指定IP段
/mydata 192.168.0.0/24(rw,sync,all_squash)
--------------------------------------------------------------------
# 重载配置
$ exportfs -rv
exporting 192.168.0.0/24:/data
# 查看本地挂载情况
$ showmount -e localhost
Export list for localhost:
/data 192.168.0.0/24
# 开放防火墙nfs服务
$ firewall-cmd --add-service=nfs --permanent
$ firewall-cmd --reload
OK,到此服务端安装完成。
2. 客户端安装
切换到需要连接NFS的客户端的服务器上来,进行客户端的安装
# 同样需要先下载安装nfs,rpcbind,并设为开机启动
$ yum install -y nfs-utils rpcbind
# 启动nfs和rpcbind,并设置开机启动
$ systemctl enable nfs-server
$ systemctl enable rpcbind
$ systemctl start nfs
$ systemctl start rpcbind
# 查看两个服务状态,确保服务正常运行
$ systemctl status nfs
$ systemctl status rpcbind
# 创建需要将NFS的共享文件夹放置到本机的目录,当然可以是任何目录
$ mkdir -p /usr/local/mydata
# 将服务端的目录挂载到本地的对应目录下
$ mount -t nfs 192.168.0.1:/mydata /usr/local/mydata
## 查看挂载情况,会发现最后一行出现了nfs的挂载信息
$ df -h
192.168.0.1:/mydata 40G 5.1G 33G 14% /usr/local/mydata
# 卸载挂载方式
$ umount /usr/local/mydata
OK,到此nfs客户端安装成功,且挂载成功,可以此时,在客户端上修改修改挂载目录中的文件,服务端和其他客户端会有相同变化,实现文件了文件呢共享。
3. 服务端配置参数详解
按照上面安装使用后,你会发现,客户端在操作nfs挂载文件中的文件时,读写的文件的所有人和组都会变成nfsnobody,这样所有客户端都可以读写文件。
此时,如果你在服务端上,手动在挂载的文件中新增文件,会发现文件的所有人会是你操作的账号,比如root,这时候,你再到客户端上看,同样会看到这个属于root的文件,但是只能读,却无法写,且在客户端上也无法修改其文件属性,将所有人改为nfsnobody,只有在服务端上才能操作,改为nfsnobody后,客户端才能操作。
这些权限的控制,实际上是由服务端在设置的时候,配置的,详细看第一步服务端安装时,我们配置了需要共享的目录,如下:
/mydata 192.168.0.0/24(rw,sync,all_squash)
其中在目录后面括号内的就是定义的配置,其中的参数有如下几种:
- ro:目录只读
- rw:目录可读写
- sync:数据同步写入到NFS Server的硬盘后才返回,优点:数据安全不会丢;缺点:性能较差
- async:数据写入到NFS Server内存缓冲区后就返回,再随服务器异步写入磁盘。优点:写入效率高,性能快。风险:若服务端服务器宕机或不正常关机,可能丢失内存缓冲区内的数据。
- all_squash:将客户端访问的所有用户及所属组都压缩为匿名用户或用户组“nfsnobody”
- no_all_squash:与all_squash取反,不压缩为匿名用户(默认设置)
- root_squash:如果客户端访问的用户是root,将root用户及所属组都压缩为匿名用户或用户组“nfsnobody” (默认设置)
- no_root_squash:与root_squash取反,不压缩为匿名用户
- anonuid:将客户端访问的所有用户都压缩为匿名用户,并指定该用户的uid,前提是所有客户端都必须存在此用户,一般此值设置为nfsnobody用户的uid
- anongid:与anonuid一样,只是将指定uid换成了gid
那么在生产环境中,我们一般怎么选择进行配置呢,一般生产环境中,我们都会存在多个客户端共同连接一个服务端,那么设置时,选择sync保证数据一致性,选择all_squash保证将所有用户压缩为指定用户来实现用户权限的统一
PS: anonuid/anongid 需要与all_squash 共同使用
常见生产环境如下配置:
/mydata 192.168.0.0/24(rw,sync,all_squash,anonuid=65534,anongid=65534)
注意:如果你在nfs服务端上也跑着业务服务,此业务服务会直接操作nfs共享文件夹,那么文件的所属就会是此业务服务的运行用户,假设为A用户,那么A用户创建的文件,就会没办法被客户端修改,因为客户端都被压缩为了nfsnobody用户。
解决办法的思路是:
- 让服务端上操作nfs共享文件夹的用户,和客户端访问压缩成的用户相同,即可正常使用。
比如,一般常见我nfs服务端上用ops用户跑了服务,会读写nfs的共享文件夹,里面就会有ops权限的文件,此时,修改服务端配置中的anonuid和anongid,指定为ops用户即可。
另外的,如果运行业务服务的用户都是root,那么可以直接使用no_root_squash不压缩用户,都直接用root用户操作nfs共享文件夹。比如如下配置:
# no_root_squash有root权限,不是太安全,不推荐。
/mydata 192.168.0.0/24(rw,sync,no_root_squash)
另外,修改了服务端的配置后,需要重载生效:
# 在服务端重载配置生效,客户端不用重新挂载即可生效新的设置。
$ exportfs -rv
注意: 当nfs服务端停止服务时,客户端挂载目录会出现卡死情况
。因为nfs挂载默认是hard-mount挂载,当服务端停止服务时,客户端加载nfs不成功,就会不断的重试,直到服务端恢复之前,挂载目录都会出现卡死的情况。
要解决有两种办法:
- 用umount卸载此目录的nfs挂载,卸载后该目录正常访问。待服务端恢复后再重新mount挂载。
- 挂载时更换为soft-mount,设置重试次数,当重试都不成功后,则会放弃,返回错误信息 "Connect time out"
使用软挂载方式:
# 上文客户端挂载的例子,nfs软挂载的方式为:
mount -t nfs -o rw,soft,timeo=30,retry=5,timeo=30 192.168.0.1:/mydata /usr/local/mydata
# timeo的单位是0.1秒,配置为30就是隔3秒客户端向服务器端请求。
# retry重试次数
结束
好啦,到此介绍完了NFS服务的详细部署与配置。
严谨的你会发现,nfs做共享文件的方式,优缺点很明显:
- 优点: 方便简单,易上手,易维护,成本低,对代码侵入性少。
- 缺点: 所有读写IO压力集中在服务端,性能有限,服务端存在单点问题,要解决单点问题,较复杂,就失去了方便简单的优点,不如直接使用高可用的分布式文件系统服务。
如上,因为nfs的优缺点,推荐大家使用nfs的场景是:内部系统或服务,性能要求不高,访问人数不大,中小型项目,数据重要程度有限。
那么不用nfs用什么呢,对于较大型项目,特别是一些对外服务,互联网应用等。可以使用高可用的分布式文件系统,或者推荐直接使用云对象存储服务
,如阿里云oss,腾讯云cos。成本不高,管理简单,稳定高效。
好了,今天就说到这里,有任何问题,欢迎留言。