一、数据卷概述：

? Kubernetes中的Volume提供了在容器中挂载外部存储的能力

? Pod需要设置卷来源（spec.volume）和挂载点（spec.containers.volumeMounts）两个信息后才可以使用相应的Volume

二、K8S数据卷类型大致分类:

1. ?本地（hostPath，emptyDir等）
2. ? 网络（NFS，Ceph，GlusterFS等）
3. ? 公有云（AWS EBS oss等）
4. ? K8S资源（configmap，secret等）

　　k8s的存储常用的就是上面几种模式，分为临时存储，半持久化存储，与持久化存储这三类，

本章我们着重讲解emptydir与hostpath与pvc跟pv等

三、emptydir

emptydir是什么:

　　当pod的存储方案设定为emptydir的时候，pod启动时，就会在pod所在节点的磁盘空间开辟出一块空卷，最开始里面是什么都没有的，pod启动后容器产生的数据会存放到那个空卷中。空卷变成了一个临时卷

供pod内的容器读取和写入数据，一旦pod容器消失，节点上开辟出的这个临时卷就会随着pod的销毁而销毁

emptydir的用途：

Pod中容器之间数据共享（POD 中双容器，容器共享volume）

emptydir例子：

案例： 在一个pod 中 有两个容器： tomcat 和 busybox 挂载到宿主机的emptyDir 下（临时存储）

#在pod 级别设置 volume "app-logs"，用于tomcat 向其中写入日志文件，busybox 读日志文件； 把tomcat 容器的/usr/loca/tomcat/logs 目录 和 busybox 容器的 /logs 都挂载到本地的emptyDir(临时存储，伴随着POD的生命周期)

[root@master-1 ~]# cat pod-volume.yaml

apiVersion: v1

kind: Pod

metadata:

name: volume-pod

spec:

containers:

- image: tomcat

name: tomcat

ports:

- containerPort: 8080

volumeMounts:

- name: app-logs

mountPath: /usr/local/tomcat/logs

- image: busybox

name: busybox

command: ["sh", "-c", "tail -f /logs/catalina*.log"] #容器启动执行时的命令，仅可以有一条CMD

volumeMounts:

- name: app-logs

mountPath: /logs

volumes:

- name: app-logs #引用上面的volumeMounts的挂载名称

emptyDir: {}

#READY 等于2 说明，pod中含有两个容器

[root@master-1 ~]# kubectl get pods

NAME 				READY 	STATUS 		RESTARTS 	AGE

volume-pod  2/2 		Running 	0 				12m

#查看 volume-pod 中的 busybox 容器的日志：

#-c 指定容器名称

#可以看到有tomcat日志产生

[root@master-1 ~]# kubectl logs volume-pod -c busybox

18-Jan-2021 01:41:02.441 INFO [main] org.apache.catalina.startup.VersionLoggerListener.log Command line argument: -Djava.protocol.handler.pkgs=org.apache.catalina.webresources

18-Jan-2021 01:41:02.441 INFO [main] org.apache.catalina.startup.VersionLoggerListener.log Command line argument: -Dorg.apache.catalina.security.SecurityListener.UMASK=0027

18-Jan-2021 01:41:02.441 INFO [main] org.apache.catalina.startup.VersionLoggerListener.log Command line argument: -Dignore.endorsed.dirs=

18-Jan-2021 01:41:02.441 INFO [main] org.apache.catalina.startup.VersionLoggerListener.log Command line argument: -Dcatalina.base=/usr/local/tomcat

18-Jan-2021 01:41:02.441 INFO [main] org.apache.catalina.startup.VersionLoggerListener.log Command line argument: -Dcatalina.home=/usr/local/tomcat

18-Jan-2021 01:41:02.441 INFO [main] org.apache.catalina.startup.VersionLoggerListener.log Command line argument: -Djava.io.tmpdir=/usr/local/tomcat/temp

18-Jan-2021 01:41:02.464 INFO [main] org.apache.catalina.core.AprLifecycleListener.lifecycleEvent Loaded Apache Tomcat Native library [1.2.25] using APR version [1.6.5].

18-Jan-2021 01:41:02.465 INFO [main] org.apache.catalina.core.AprLifecycleListener.lifecycleEvent APR capabilities: IPv6 [true], sendfile [true], accept filters [false], random [true].

18-Jan-2021 01:41:02.465 INFO [main] org.apache.catalina.core.AprLifecycleListener.lifecycleEvent APR/OpenSSL configuration: useAprConnector [false], useOpenSSL [true]

18-Jan-2021 01:41:02.479 INFO [main] org.apache.catalina.core.AprLifecycleListener.initializeSSL OpenSSL successfully initialized [OpenSSL 1.1.1d 10 Sep 2019]

18-Jan-2021 01:41:04.085 INFO [main] org.apache.coyote.AbstractProtocol.init Initializing ProtocolHandler ["http-nio-8080"]

18-Jan-2021 01:41:04.284 INFO [main] org.apache.catalina.startup.Catalina.load Server initialization in [2522] milliseconds

18-Jan-2021 01:41:04.554 INFO [main] org.apache.catalina.core.StandardService.startInternal Starting service [Catalina]

18-Jan-2021 01:41:04.555 INFO [main] org.apache.catalina.core.StandardEngine.startInternal Starting Servlet engine: [Apache Tomcat/9.0.41]

18-Jan-2021 01:41:04.595 INFO [main] org.apache.coyote.AbstractProtocol.start Starting ProtocolHandler ["http-nio-8080"]

18-Jan-2021 01:41:04.693 INFO [main] org.apache.catalina.startup.Catalina.start Server startup in [408] milliseconds

18-Jan-2021 01:43:14.686 INFO [Catalina-utility-2] org.apache.catalina.startup.HostConfig.deployDirectory Deploying web application directory [/usr/local/tomcat/webapps/test]

18-Jan-2021 01:43:15.342 INFO [Catalina-utility-2] org.apache.catalina.startup.HostConfig.deployDirectory Deployment of web application directory [/usr/local/tomcat/webapps/test] has finished in [656] ms

四 、hostpath

hostpath是什么:

　　hostPath类型则是映射node文件系统中的文件或者目录到pod里。在使用hostPath类型的存储卷时，也可以设置type字段，支持的类型有文件、目录、File、Socket、CharDevice和BlockDevice。

　　其实这个功能就相当于docker中的-v 目录映射，只不过在k8s中的时候，pod会漂移，当pod漂移到其他node节点的时候，pod不会跨节点的去读取目录。所以说hostpath只能算一种半持久化的存储方式

hostpath的用途：

Pod中容器需要访问宿主机文件

hostpath例子： 将宿主机/data 目录挂载到容器 /test-pd目录

apiVersion: v1

kind: Pod

metadata:

name: test-pd

spec:

containers:

- image: k8s.gcr.io/test-webserver

name: test-container

volumeMounts:

- mountPath: /test-pd

name: test-volume

volumes:

- name: test-volume

hostPath:

# directory location on host

path: /data #node节点上的路径

# this field is optional

type: Directory #path的属性，下面会介绍可选属性的值

####path的属性

五、持久化存储-pvc pv nfs

　上面介绍了两种临时存储于半持久化存储的方案。在k8s实际生产环境中，一般会选用私有云持久化存储方案还有公有云持久化存储方案，私有云存储方案包括nfs，ceph，glusterfs等方案。公有云存储会用到AWS等方案

　　存储方案各有各的优缺点，可参考https://www.cnblogs.com/yswenli/p/7234579.html 这篇文章。今天我们主要讲解pvc，pv，nfs之间的关系。

　　简单来说，要使用持久化存储，就需要使用pvc去跟pv去申请，然后pv查看自己有没有合适的存储空间卷，有合适的就与pvc进行绑定。pv与pvc是一一对应绑定的。现在我们用一幅图来说明pvc，pv，nfs的关系

先搭建NFS 服务器

服务器构建nfs共享：

5.1、安装nfs-utils

yum install nfs-utils

注：每个Node上都要安装nfs-utils包

5.2、启动服务

systemctl enable nfs-server (自启动)

systemctl restart nfs-server

5.3、创建共享目录完成共享配置

mkdir /home/test #创建共享目录

vim /etc/exports #编辑共享配置

语法格式：

共享文件路径 客户机地址（权限） #这里的客户机地址可以是IP,网段，域名,也可以是任意*

/home/test *(rw,async,no_root_squash)

#####

rw：可读写的权限；

ro：只读的权限；

no_root_squash：登入到NFS主机的用户如果是root，该用户即拥有root权限；（不添加此选项ROOT只有RO权限）

root_squash：登入NFS主机的用户如果是root，该用户权限将被限定为匿名使用者nobody；

all_squash：不管登陆NFS主机的用户是何权限都会被重新设定为匿名使用者nobody。

anonuid：将登入NFS主机的用户都设定成指定的user id，此ID必须存在于/etc/passwd中。

anongid：同anonuid，但是变成group ID就是了！

sync：资料同步写入存储器中。

async：资料会先暂时存放在内存中，不会直接写入硬盘。

insecure：允许从这台机器过来的非授权访问。

服务自检命令 exportfs -arv

5.4、重启服务

systemctl restart nfs-server

5.5、本机查看nfs 共享目录

showmount -e 服务器IP地址 (如果提示命令不存在，则需要yum install showmount)

[root@prometheus ~]# showmount -e 127.0.0.1

Export list for 127.0.0.1:

/home/test *

5.6 、#客户端模拟挂载

[root@master-1 ~]# yum install nfs-utils

[root@master-1 ~]# mkdir /test

[root@master-1 ~]# mount -t nfs 192.168.31.250:/home/test /test

[root@master-1 ~]# umount /test #取消挂载

5.7、 创建pv，pvc， pod请求文件

# 创建pv（持久的存储卷）：

[root@master-1 ~]# vim pv.yaml

apiVersion: v1

kind: PersistentVolume

metadata:

name: nfs

spec:

capacity:

storage: 1Gi #指定请求存储空间的大小

accessModes:

- ReadWriteMany #一共有三种模式

persistentVolumeReclaimPolicy: Recycle #设置回收策略

nfs:

server: 192.168.31.250 #指定nfs服务器地址

path: "/home/test" #指定nfs 服务器的共享目录

======================================================

#accessModes 三种模式:

ReadWriteOnce – PV以 read-write 挂载到一个节点

ReadOnlyMany – PV以read-only方式挂载到多个节点

ReadWriteMany – PV以read-write方式挂载到多个节点

#persistentVolumeReclaimPolicy，回收策略

主要用于绑定的PVC删除后，资源释放后如何处理该PVC在存储设备上写入的数据。

Retain：保留，删除PVC后，PV保留数据；

Recycle：回收空间，删除PVC后，简单的清除文件；（NFS和HostPath存储支持）

Delete：删除，删除PVC后，与PV相连接的后端存储会删除数据；（AWS EBS、Azure Disk、Cinder volumes、GCE PD支持）

[root@master-1 ~]# kubectl apply -f pv.yaml

#查看创建的PV

[root@master-1 ~]# kubectl get pv
NAME   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM         STORAGECLASS   REASON   AGE
nfs    1Gi        RWX            Recycle          Bound    default/nfs                           19m

[root@master-1 ~]# vim pvc.yaml

apiVersion: v1

kind: PersistentVolumeClaim

metadata:

name: nfs

spec:

accessModes:

- ReadWriteMany

resources:

requests:

storage: 1Gi #指定请求存储空间的大小

[root@master-1 ~]# kubectl apply -f pvc.yaml

#查看创建的PVC

[root@master-1 ~]# kubectl get pvc
NAME   STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
nfs    Bound    nfs      1Gi        RWX                           25m

#PVC生命周期阶段：

一个 PV 的生命周期中，可能会处于4种不同的阶段：

? Available（可用）：表示可用状态，还未被任何 PVC 绑定

? Bound（已绑定）：表示 PV 已经被 PVC 绑定

? Released（已释放）：PVC 被删除，但是资源还未被集群重新声明

? Failed（失败）： 表示该 PV 的自动回收失败

备注： PVC的常用命令

创建（yaml的方式）

$ kubectl create -f pvc.yaml

删除

$ kubectl delete pvc pvc_name

查看所有PVC

$ kubectl get pvc

查看某个PVC

$ kubectl get pvc pvc_name

查看详情

$ kubectl describe pvc pvc_name

注意： 若在某个命名空间下，以上命令可以加上-n ns_name

# 创建pod的yaml中先指明存储选择pvc

注意： 所有node节点需要先按照 yum install nfs-utils 才行，否则pod无法挂载pvc

[root@master-1 ~]# vim pvpod.yaml

apiVersion: v1

kind: Pod

metadata:

name: httpd-pvpod

spec:

containers:

- image: httpd

name: httpd-withpvc-pod

imagePullPolicy: Always

volumeMounts:

- mountPath: "/usr/local/apache2/htdocs/"      #POD内需要挂载的路径

name: httpd-volume

volumes:

- name: httpd-volume

persistentVolumeClaim:

claimName: nfs                                 #指定pvc 名称

#创建POD

[root@master-1 ~]# kubectl create -f pvpod.yaml

[root@master-1 ~]# kubectl get pods
NAME                            READY   STATUS             RESTARTS   AGE
httpd-pvpod                     1/1     Running            0          9m41s

#如果遇到下面的报错，就是 node节点的nfs-utils 没有安装， yum install nfs-utils 即可

Warning FailedMount 9m2s kubelet, node-3 MountVolume.SetUp failed for volume "nfs" : mount failed: exit status 32

Mounting command: systemd-run

Mounting arguments: --description=Kubernetes transient mount for /var/lib/kubelet/pods/5308f07f-0a10-4321-8e89-24a765005f17/volumes/kubernetes.io~nfs/nfs --scope -- mount -t nfs 192.168.31.250:/home/test /var/lib/kubelet/pods/5308f07f-0a10-4321-8e89-24a765005f17/volumes/kubernetes.io~nfs/nfs

Output: Running scope as unit run-125109.scope.

mount: wrong fs type, bad option, bad superblock on 192.168.31.250:/home/test,

missing codepage or helper program, or other error

(for several filesystems (e.g. nfs, cifs) you might

need a /sbin/mount.<type> helper program)

In some cases useful info is found in syslog - try

dmesg | tail or so.

Warning FailedMount 8m3s kubelet, node-3 Unable to attach or mount volumes: unmounted volumes=[httpd-volume], unattached volumes=[httpd-volume default-token-8l8gb]: timed out waiting for the condition

Warning FailedMount 7m58s kubelet, node-3 (combined from similar events): MountVolume.SetUp failed for volume "nfs" : mount failed: exit status 32

Mounting command: systemd-run

Mounting arguments: --description=Kubernetes transient mount for /var/lib/kubelet/pods/5308f07f-0a10-4321-8e89-24a765005f17/volumes/kubernetes.io~nfs/nfs --scope -- mount -t nfs 192.168.31.250:/home/test /var/lib/kubelet/pods/5308f07f-0a10-4321-8e89-24a765005f17/volumes/kubernetes.io~nfs/nfs

Output: Running scope as unit run-125647.scope.

mount: wrong fs type, bad option, bad superblock on 192.168.31.250:/home/test,

missing codepage or helper program, or other error

(for several filesystems (e.g. nfs, cifs) you might

need a /sbin/mount.<type> helper program)

In some cases useful info is found in syslog - try

dmesg | tail or so.

5.8、 验证

1）到NFS的共享目录下创建一个文件

[root@prometheus ~]# cd /home/test/

[root@prometheus test]# echo "hello_k8s" > index.html

2）进入到httpd-pod 容器里

[root@master-1 ~]# kubectl exec -it httpd-pvpod bash

root@httpd-pvpod:/usr/local/apache2# cat /usr/local/apache2/htdocs/index.html

hello_k8s

[root@master-1 ~]# kubectl get pods -o wide # 查看其对应的IP

NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES

httpd-pvpod 1/1 Running 0 90s 10.244.2.111 node-3 <none> <none>

#在任意node节点上，使用curl 访问httpd-pod 这个容器

[root@node-1 ~]# curl 10.244.2.111/index.html

hello_k8s

3）删除httpd-pvpod pod,验证数据还在不在了

[root@master-1 ~]# kubectl delete pod httpd-pvpod

pod "httpd-pvpod" deleted

[root@prometheus ~]# cd /home/test/

[root@prometheus ~]# cat index.html

hello_k8s

发现即使POD删除后，PVC里的数据还是存在的

4）重建httpd-pod

[root@prometheus ~]# kubectl create -f pvpod.yaml

pod/httpd-pvpod created

5）依然使用curl访问

[root@master-1 ~]# kubectl get pods -o wide # 查看其对应的IP

NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES

httpd-pvpod 1/1 Running 0 90s 10.244.2.112 node-3 <none> <none>

#在任意node节点上，使用curl 访问httpd-pod 这个容器

[root@node-1 ~]# curl 10.244.2.112/index.html

hello_k8s

六、 PV 动态供给（StorageClass）

上面创建的PV为静态供给的方式，很明显的缺点是维护成本太高了，因此，K8s开始支持PV动态供给，使用StorageClass对象实现。

下面介绍下基于NFS 实现PV动态供给

支持动态供给的存储插件：https://kubernetes.io/docs/concepts/storage/storage-classes/

打? 的表示K8S 默认支持的动态供给的存储

- 没打 ? 的表示K8S 不支持的动态供给的存储，比如 NFS ， 需要借助外部的插件去实现动态供给

https://github.com/kubernetes-retired/external-storage 上面有nfs 支持的插件

部署NFS实现自动创建PV插件：

[root@master-1 ~]#git clone https://github.com/kubernetes-incubator/external-storage

[root@master-1 ~]# cd nfs-client/deploy

[root@master-1 deploy]# kubectl apply -f rbac.yaml # 授权访问apiserver

#默认的镜像地址国内无法下载，可以使用 image: feixiangkeji974907/nfs-client-provisioner:latest

#需要修改 nfs服务器的IP 地址，以及共享名称路径

[root@master-1 deploy]#kubectl apply -f deployment.yaml # 部署插件，需修改里面NFS服务器地址与共享目录

#StorageClass名称为managed-nfs-storage

# archiveOnDelete: "true" 表示当PVC 删除后，后端数据不直接删除，而是归档

[root@master-1 deploy]#kubectl apply -f class.yaml # 创建存储类

# 查看存储类

[root@master-1 nfs-client]# kubectl get sc
NAME                 	 PROVISIONER      RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
managed-nfs-storage   	 fuseim.pri/ifs        Delete                 Immediate                    false                                   3m2s

创建PVC.yaml

[root@master-1 pvc]# cat pvc.yaml

apiVersion: v1

kind: PersistentVolumeClaim

metadata:

name: test-claim

spec:

storageClassName: "managed-nfs-storage"         #指定storageClassName名称

accessModes:

- ReadWriteMany                                #访问模式可以读写在多个节点

resources:

requests:

storage: 1Gi                                   #需要1G大小空间

#可以看到以及成功绑定到动态的PV 上

[root@master-1 pvc]# kubectl get pvc
NAME         STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS          AGE
test-claim   Bound    pvc-fba52ac7-986d-40a8-a2a2-5535bef29538    1Gi        RWX            managed-nfs-storage   2s

创建pod.yaml

[root@master-1 pvc]# cat pod.yaml

apiVersion: v1

kind: Pod

metadata:

name: httpd-pvpod

spec:

containers:

- image: httpd

name: httpd-withpvc-pod

imagePullPolicy: Always

volumeMounts:

- mountPath: "/usr/local/apache2/htdocs/"          #指定容器挂载目录

name: httpd-volume

volumes:

- name: httpd-volume

persistentVolumeClaim:

claimName: test-claim                              #指定PVC名称

1）到NFS的共享目录下创建一个文件

#注意default-test-claim-pvc-fba52ac7-986d-40a8-a2a2-5535bef29538 和 就是pvc的VOLUME

[root@prometheus ~]# cd /home/test/default-test-claim-pvc-fba52ac7-986d-40a8-a2a2-5535bef29538

[root@ansible default-test-claim-pvc-fba52ac7-986d-40a8-a2a2-5535bef29538]# echo "hello_k8s" > index.html

2）进入到httpd-pod 容器里

[root@master-1 ~]# kubectl exec -it httpd-pvpod bash

root@httpd-pvpod:/usr/local/apache2# cat /usr/local/apache2/htdocs/index.html

hello_k8s

[root@master-1 ~]# kubectl get pods -o wide # 查看其对应的IP

NAME                            READY   STATUS             RESTARTS   AGE    IP             NODE     NOMINATED NODE   READINESS GATES
httpd-pvpod                     1/1     Running            0          90s    10.244.2.111   node-3   <none>           <none>

#在任意node节点上，使用curl 访问httpd-pod 这个容器

[root@node-1 ~]# curl 10.244.2.111/index.html

hello_k8s

3）测试删除POD 以及pvc，观察后端数据是否还在

[root@master-1 pvc]# kubectl delete -f .

pod "httpd-pvpod" deleted

persistentvolumeclaim "test-claim" deleted

#可以看到后端数据不直接删除，而是选择采用了归档的方式（因为StorageClass 的 class.yaml 中 archiveOnDelete: "true" ）

[root@ansible test]# ls -l

drwxrwxrwx 2 root root 24 Jan 20 23:49 archived-default-test-claim-pvc-fba52ac7-986d-40a8-a2a2-5535bef29538