Kubernetes 卷存储 NFS | nfs搭建配置 原理介绍 nfs作为存储卷使用

原创 已于 2024-03-05 10:46:21 修改 · 2.1k 阅读 · 23 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
标签
#kubernetes #容器 #云原生
于 2024-02-21 23:45:02 首次发布
本文详细介绍了NFS的基本概念、工作原理，以及如何在服务器端和客户端进行部署，特别关注了NFS在Kubernetes中的应用，包括作为存储卷、PV和PVC的使用，以及动态存储的实现。

目录

1、NFS介绍

NFS（Network File System）是一种分布式文件系统协议，允许客户端远程访问服务器上的文件，实现数据共享。它整合多个存储设备为统一文件系统，方便数据存储和管理，支持负载均衡和故障转移，确保服务高可用和可扩展。但需注意，NFS依赖网络环境，网络状况影响其性能，且配置管理需技术经验。
nfs端口：2049
RPC端口：111w

nfs原理
工作原理主要基于客户端-服务器架构。在NFS环境中，服务器端运行NFS服务，将本地文件系统中的文件共享给网络上的其他计算机。客户端通过挂载远程NFS共享，可以像访问本地文件系统一样访问这些共享文件。
NFS 使用RPC(Remote Procedure Call)的机制进行实现，RPC使得客户端可以调用服务端的函数。同时，由于有 VFS 的存在，客户端可以像使用其它普通文件系统一样使用 NFS 文件系统。经由操作系统的内核，将 NFS 文件系统的调用请求通过 TCP/IP 发送至服务端的 NFS 服务。NFS服务器执行相关的操作，并将操作结果返回给客户端。
在这里插入图片描述
1.首先服务器端启动RPC服务，并开启111端口

2.服务器端启动NFS服务，并向RPC注册端口信息

3.客户端启动RPC（portmap服务），向服务端的RPC(portmap)服务请求服务端的NFS端口

4.服务端的RPC(portmap)服务反馈NFS端口信息给客户端。

5.客户端通过获取的NFS端口来建立和服务端的NFS连接并进行数据的传输。

NFS服务主要进程包括：

  • rpc.nfsd：最主要的NFS进程，管理客户端是否可登录
  • rpc.mountd：挂载和卸载NFS文件系统，包括权限管理
  • rpc.lockd：非必要，管理文件锁，避免同时写出错
  • rpc.statd：非必要，检查文件一致性，可修复文件

nfs的关键工具包括：

  • 主要配置文件：/etc/exports；
  • NFS文件系统维护命令：/usr/bin/exportfs；
  • 共享资源的日志文件： /var/lib/nfs/*tab；
  • 客户端查询共享资源命令： /usr/sbin/showmount；
  • 端口配置： /etc/sysconfig/nfs。

2、NFS服务部署

在NFS服务器端的主要配置文件为/etc/exports时，通过此配置文件可以设置共享文件目录。每条配置记录由NFS共享目录、NFS客户端地址和参数这3部分组成，格式如下：

[NFS共享目录] [NFS客户端地址1(参数1,参数2,参数3……)]

NFS共享目录：服务器上共享出去的文件目录；
NFS客户端地址：允许其访问的NFS服务器的客户端地址，可以是客户端IP地址，也可以是一个网段(192.168.64.0/24)；
访问参数：括号中逗号分隔项，主要是一些权限选项。
访问权限参数

选项描述
ro客户端对于共享文件目录为只读权限。（默认设置）
rw客户端对共享文件目录具有读写权限。

Kubernetes的NFS存储用于将某事先存在的NFS服务器导出export的存储空间挂载到Pod中来供Pod容器使用。与emptyDir不同的是，NFS存储在Pod对象终止后仅是被卸载而非删除。另外，NFS是文件系统及共享服务，它支持同时存在多路挂载请求。定义NFS存储时，常用到以下字段。

2.1安装nfs服务 (服务端配置)

#ubuntu部署
sudo apt install nfs-kernel-server

#centos部署
yum -y install rpcbind nfs-utils

#创建要共享的目录
mkdir /data/redis -p    #/data/redis：NFS服务要共享的目录

#编辑NFS配置并加入以下内容
vim /etc/exports        #NFS的配置文件，默认文件内容为空（无任何共享）
/data/redis 192.168.31.0/24(rw,sync,no_all_squash,no_subtree_check,no_root_squash)
#载入配置
exportfs -rv

在这里插入图片描述

/data/redis 192.168.31.0/24(rw,sync,no_all_squash,no_subtree_check,no_root_squash)
/data/redis 192.168.31.0/24(rw,no_root_squash) #两者效果一样
#设置/redis为共享目录，允许192.168.31.0/24网段的IP地址主机访问,也可以写 * ，表示所有地址都可以访问NFS服务
#rw：访问到此目录的服务器都具备读写权限
#sync：数据同步写入内存和硬盘 默认同步，可不写入
#no_all_squash：所有用户对根目录具备完全管理访问权限 默认禁用all_squash，可不写入
#no_subtree_check：不检查父目录的权限 默认禁用subtree_check，可不写入
#root_squash选项会将这个root用户映射成一个非特权用户,此处禁用 no_root_squash

2.2启动NFS服务

#ubuntu启动
systemctl start nfs-kernel-server

#centos启动
systemctl start rpcbind //一定要先开启rpcbind服务
systemctl start nfs //如服务已启动，更改完配置信息后需要重启服务

设置开机自启

systemctl enable rpcbind

systemctl enable nfs-server

2.3 服务检查

showmount -e localhost
exportfs -v

可以看到redis共享目录信息
在这里插入图片描述

2.4 客户端配置

1.1.检查并安装软件

rpm -q rpcbind nfs-utils
yum install -y rpcbind nfs-utils
systemctl start rpcbind && systemctl start nfs
systemctl enable rpcbind && systemctl enable nfs-server

2.将共享目录挂载到本地

mount -t nfs 服务端地址:/共享目录  /mnt
showmount -e  服务端地址

在这里插入图片描述

2.5 服务测试
在服务端共享目录创建文件，在客户端挂载目录可以看到

cd /data/redis
echo "hello world" >>hello.txt

在这里插入图片描述

cd /mnt/  && cat hello.txt

在这里插入图片描述
注：也可以客户端写入，服务端查看 （客户端需要有权限）

3、nfs作为存储卷使用

3.1 nfs作为volume

nfs可以直接作为存储卷使用
下面是一个redis部署的YAML配置文件。在此示例中，redis在容器中的持久化数据保存在/data目录下；存储卷使用nfs，nfs的服务地址为：192.168.8.150，存储路径为：/k8s-nfs/redis/data。容器通过volumeMounts.name的值确定所使用的存储卷。

vi redis.yaml

apiVersion: apps/v1 # for versions before 1.9.0 use apps/v1beta2
kind: Deployment
metadata:
  name: redis
spec:
  selector:
    matchLabels:
      app: redis
  revisionHistoryLimit: 2
  template:
    metadata:
      labels:
        app: redis
    spec:
      containers:
      # 应用的镜像
      - image: redis
        name: redis
        imagePullPolicy: IfNotPresent
        # 应用的内部端口
        ports:
        - containerPort: 6379
          name: redis6379
        env:
        - name: ALLOW_EMPTY_PASSWORD
          value: "yes"
        - name: REDIS_PASSWORD
          value: "redis"   
        # 持久化挂接位置，在docker中 
        volumeMounts:
        - name: redis-persistent-storage
          mountPath: /data
      volumes:
      # 宿主机上的目录
      - name: redis-persistent-storage
        nfs:
          path: /data/redis
          server: 192.168.200/30

 kubectl apply -f redis.yaml

3.2 nfs存储的缺点

基于上述过程可以发现用户在使用nfs或者其他类似的存储时，要求较高：

1、需要了解底层存储用的是什么

2、需要存储服务器的地址，以及因此带来的安全问题

3、在存储服务器创建相应的存储目录
在这里插入图片描述
因此，为了能够屏蔽底层存储实现的细节，方便用户使用， kubernetes引入PV和PVC两种资源对象。

3.3 nfs作为PersistentVolum

在Kubernetes当前版本的中，可以创建类型为nfs的持久化存储卷，用于为PersistentVolumClaim提供存储卷。在下面的PersistenVolume YAML配置文件中，定义了一个名为nfs-pv的持久化存储卷，此存储卷提供了5G的存储空间，只能由一个PersistentVolumClaim进行可读可写操作。此持久化存储卷使用的nfs服务器地址为192.168.5.150，存储的路径为/tmp。

vi nfs-pv.yaml

apiVersion: v1 
kind: PersistentVolume 
metadata: 
  name: nfs-pv 
spec: 
  capacity: 
    storage: 5Gi 
  volumeMode: Filesystem 
  accessModes: 
  - ReadWriteOnce 
  persistentVolumeReclaimPolicy: Recycle 
  storageClassName: slow 
  mountOptions: 
  - hard 
  - nfsvers=4.1
  # 此持久化存储卷使用nfs插件 
  nfs:
    # nfs共享目录为/data/redis 
    path: /data/redis
    # nfs服务器的地址
    server: 192.168.200.30

通过执行如下的命令可以创建上述持久化存储卷：

kubectl create -f nfs-pv.yaml

存储卷创建成功后将处于可用状态，等待PersistentVolumClaim使用。PersistentVolumClaim会通过访问模式和存储空间自动选择合适存储卷，并与其进行绑定。

4、nfs作为动态存储提供

部署nfs-provisioner 实现PV 动态供给（StorageClass）直通车

5、总结

1.NFS服务多用于局域网内
2.共享目录权限要适应实际生产环境
3.搭建服务时一定要先启动rpc后启动nfs
4.配置文件中的信息格式一定要对，否则报错

参考资料
1.《Persistent Volumes》地址：https://kubernetes.io/docs/concepts/storage/persistent-volumes/
2.《Storage Classes》地址：https://kubernetes.io/docs/concepts/storage/storage-classes/
3.《Dynamic Volume Provisioning》地址：https://kubernetes.io/docs/concepts/storage/dynamic-provisioning/
4.《Volums》地址：
https://kubernetes.io/docs/concepts/storage/volumes/
5.《nfs》地址：
https://github.com/kubernetes-incubator/external-storage/tree/master/nfs

如何将 NFS 配置为 Kubernetes 持久卷存储？
网络技术联盟站
01-31 875
Kubernetes 持久卷存储是容器化应用程序中一项关键的功能，它允许容器在重新调度、扩展或升级时保留其数据。相对于临时性的存储，持久卷存储提供了一种可靠的解决方案，确保应用程序的数据在容器之间的迁移时不会丢失。在 Kubernetes 中，持久卷（Persistent Volume，PV）是一种独立于 Pod 的存储资源。PV 可以由集群管理员预先创建，然后由开发者使用。
NFS介绍及服务器搭建
椰汁菠萝
01-10 9368
最全NFS介绍以及部署说明，简单小白
NFS 服务器总结：概念、原理、配置与实战详解
最新发布
Kismet_nvi的博客
05-11 435
✅ NFS 的基本概念、架构和工作原理（RPC、挂载、文件访问）✅ NFS 服务器配置：安装nfs-utils，准备共享目录，编辑，启动服务，开放防火墙✅ NFS 客户端配置：安装nfs-utils，使用showmount查看导出，用mount挂载 NFS 共享与的区别，以及如何利用一致的 UID 实现协同✅ 持久化挂载（/etc/fstab添加_netdev选项）✅ NFS 共享存储的典型场景：Web 服务器集群共享代码和资源。
nfs安装配置详解
qq_51010919的博客
07-15 1万+
NFS，全称为Network File System，是一种，用于在计算机网络中实现文件共享。它允许在不同的操作系统之间和目录，使得在网络中的计算机可以像访问本地文件一样访问远程计算机上的文件。NFS最初由Sun Microsystems开发，并在1984年首次发布。它是基于客户端-服务器模型的，其中一个计算机作为NFS服务器提供文件和目录的共享，而其他计算机则作为NFS客户端请求和访问这些共享资源。NFS支持在不同的操作系统之间进行文件共享，包括UNIX、Linux和Windows等。
Kubernetes详解（三十六）——Kubernetes NFS存储卷
永远是少年
05-05 1911
今天继续给大家介绍Linux运维相关知识，本文主要内容是Kubernetes NFS存储卷。 一、NFS服务配置 二、存储卷创建 三、NFS存储卷查看
【云原生】Kubernetes文件挂载nfs
大壮
01-30 1475
场景一：启动镜像后访问/antuapps/jarapps/目录可以看到挂载的lib和lib-provided目录.场景二：上传were.xslx文件到nfs server服务器上查找对应文件已经成功上传。查看远程电脑NFS共享的目录挂载目录。
K8S搭建存储卷
Eddy的博客
06-14 1993
一、StorageClassStorageClass为管理员提供了描述存储 “类” 的方法。不同的类型可能会映射到不同的服务质量等级或备份策略，或是由集群管理员制定的任意策略。K3S本身并不清楚各种类代表的什么。这个类的概念在其他存储系统中有时被称为 “配置文件”。二、StorageClass资源。
【kubernetes】关于k8s集群的存储卷
liu_xueyin的博客
03-05 1774
metadata: #由于 PV 是集群级别的资源，即 PV 可以跨 namespace 使用，所以 PV 的 metadata 中不用配置 namespacename:spec#查看pv定义的规格spec:nfs:（定义存储类型）path:（定义挂载卷路径）server:（定义服务器名称）accessModes:（定义访问模型，有以下三种访问模型，以列表的方式存在，也就是说可以定义多个访问模式）- ReadWriteOnce #（RWO）卷可以被一个节点以读写方式挂载。
[云原生] k8s之存储卷
热心网友
03-05 2243
PV 全称叫做 Persistent Volume，持久化存储卷。它是用来描述或者说用来定义一个存储卷的，这个通常都是由运维工程师来定义。PVC 的全称是 Persistent Volume Claim，是持久化存储的请求。它是用来描述希望使用什么样的或者说是满足什么条件的 PV 存储。PVC 的使用逻辑：在 Pod 中定义一个存储卷（该存储卷类型为 PVC），定义的时候直接指定大小，PVC 必须与对应的 PV 建立关系，PVC 会根据配置的定义去 PV 申请，而 PV 是由存储空间创建出来的。
史上最全之K8s使用nfs作为存储卷的五种方式
热门推荐
琦彦
10-26 1万+
文章目录史上最全之K8s使用nfs作为存储卷的五种方式在`deployment/statefulset`中直接使用创建类型为nfs的持久化存储卷NFS CSI Driver安装使用pv/pvc 使用（静态配置）存储类使用（动态配置)NFS Subdir External Provisioner安装创建存储类验证集群模式nfs-ganesha-server-and-external-provisioner安装使用集群模式总结 史上最全之K8s使用nfs作为存储卷的五种方式 我们能将 NFS (网络文件系统)
K8S存储实战案例：NFS+StorageClass+PV/PVC+Deployment
qq_24442273的博客
12-06 2047
本篇文章分享一下在 Kubernetes (K8s) 中搭建 NFS 存储，并实现 PersistentVolume (PV)、PersistentVolumeClaim (PVC)、动态存储卷StorageClass，以及通过 Deployment 使用这些存储卷的完整流程，可以按照以下步骤进行。
K8s存储卷管理
m0_74209956的博客
04-08 1623
存储卷通过解耦数据与容器生命周期数据持久化：避免容器临时存储导致的数据丢失。性能优化：绕过联合文件系统，提升I/O效率。生态兼容性：支持从单机到集群、本地到云端的全场景存储需求。
k8s的存储卷
m0_70766460的博客
01-10 1444
1、Provisioning（配置）------pvc请求request------检索（找一个合适的pv）------pvc和pv（binding绑定）------使用------pod被删除------pv的releasing（释放）------recying（回收）即使容器被销毁，删除，重启，节点上的存储卷的数据依然存在，后续也可以继续使用。pod内的挂载点声明一个请求，pvc请求，pvc会找一个最合适的pv来作为pod的存储卷，pv和共享目录再一一映射，最终由nfs来提供最终的共享存储空间。
【云原生-Kubernetes篇】K8s的存储卷/数据卷+PV与PVC
这是博客的简介的简介
11-16 3960
存储卷；PV+PVC
k8s之存储卷管理
随便写写
11-20 1364
容器化带来的问题容器中的文件在磁盘上是临时存放的，这给容器中的运行的重要的应用程序带来一些问题问题1：当容器崩溃或重启的时候，kubelet会以干净的状态（镜像的状态）重启容器，容器内的历史数据会丢失问题2：当容器被删除时（k8s没有停止容器的概念，只有创建、删除），容器内的数据也会被一起清理问题3：多个容器中有共享文件或目录的需求卷是什么？卷是一个抽象化的存储设备为什么要使用卷？卷可以解决容器崩溃或重启后历史数据丢失的问题。
K8s网络存储，NFS，PV,PVC，StorageClass等详解
zhang19903848257的博客
07-20 3451
Kubernetes是分布式容器集群，如何在多个Pod之间或多 个Node之间进行数据存储和共享是非常重要的问题。
【Kubernetes】k8s集群存储卷（pvc存储卷）
F12138X的博客
08-10 2485
人生没有不可逾越的天堑，只要一步步走过去，前方就是幸福的彼岸
k8s入门到实战（五）—— k8s存储卷详细介绍
一弓虽的博客
03-26 2103
k8s从入门到实战篇章（第五篇）—— 详细介绍k8s存储卷技术，包括k8s的存储类型，pv和pvc存储，nfs存储以及StorageClass存储的使用
k8s存储卷
abc13245821907的博客
01-11 1497
静态PV的使用：1、准备好存储设备和共享目录2、创建PV资源，配置存储卷类型、访问模式（RWX,RWO,ROX）、存储能力大小3、创建PVC资源，配置请求PV资源的访问模式和存储大小，绑定PV（一个PV只能绑定一个PVC）4、创建Pod资源挂载PVC，配置存储卷类型为persistentVolumeClaim，在容器配置中定义存储卷挂载内容StorageClass 简称 SC 资源 实现动态创建 PV 资源。
k8s 存储卷和pvc,pv
weixin_51694382的博客
01-15 1397
1，provisioing（配置）----pvc请求request----检索（找一个合适的pv）---pvc和pv（binding 绑定）----使用-----pod被删除------pv的releasing（释放）----recycling（回收）pod内的挂载点声明一个请求pvc请求，pvc会找一个最合适的pv来作为pod的存储卷，pv和关系目录在一一映射，最终由nfs来提供最终的关系存储空间。2，hostPath：将容器内的挂载点，和节点上的目录进行挂载，hostPath可以失效数据的持久。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值