使用对象存储BOS

更新时间：2024-11-01

概述

容器引擎 CCE 支持通过创建 PV/PVC，并为工作负载挂载数据卷方式使用百度智能云对象存储BOS。本文将介绍如何在集群中静态挂载对象存储。

使用限制

集群 Kubernetes 版本需大于或等于 1.16。
请注意创建的 BOS Bucket 所处地域。如果创建的 BOS Bucket 与容器集群分属于不同地域，要求挂载点所在 BCC/BBC 开放公网访问，同地域则可以通过内网读写。

前提条件

集群已安装对象存储组件，更多信息请见 CCE CSI BOS Plugin 说明。

操作步骤

本文介绍通过 Kubectl 或者 CCE 控制台创建 PV/PVC 实现静态挂载 BOS。

方式一：通过 kubectl 命令行操作

1. 在集群中创建 AK/SK 的 Secret，用以访问 BOS 存储

kubectl create secret generic csi-bos-secret \
  --from-literal=ak=<Your-AK> \
  --from-literal=sk=<Your-SK>

说明： 关于 AK/SK 的更多信息参考如何获取 AK 和 SK

2. 创建持久卷 PV

apiVersion: v1
kind: PersistentVolume
metadata:
  name: pv-bos
  namespace: default
spec:
  accessModes:
  - ReadWriteOnce
  - ReadOnlyMany
  capacity:
    storage: 5Gi
  storageClassName: csi-bos
  csi:
    driver: csi-bosplugin
    volumeHandle: v-XXXXXX  # 对应的BOS的bucketName, 支持挂载BOS bucket子目录，如: bucketName/dirName
    nodePublishSecretRef:
      name: csi-bos-secret
      namespace: default
  mountOptions:
  - "-o meta_expires=0"
  persistentVolumeReclaimPolicy: Retain

说明：

mountOptions : 由于 BOS bucket 挂载依赖 Bosfs，因此支持通过 mountOptions 指定 Bosfs 的启动参数，支持的参数详情见 BOS参数说明，常用参数和说明如下:

meta_expires : meta 缓存过期时间，单位为秒。不设置该参数代表永不过期。上述PV yaml示例中该参数被设置为0，代表不缓存。缓存过期时间过短可能影响写入性能，过长可能导致挂载点内看不到其他客户端写入同一bucket的数据。同一bucket一写多读场景建议设置为0，纯写入场景建议设置为3600，单点读写场景可以不设置。

allow_other : 是否允许非 root 用户读取挂载点内数据，默认只有 root 用户可读写，容器内非 root 进程如果要读取挂载点内数据需要设置该参数，更细粒度权限的管理可以配合 mount_umask 参数一同使用。

BOS 支持一写多读，对应的 accessMode 只支持 ReadWriteOnce + ReadOnlyMany

创建 PV 后，输入 kubectl get pv 可以看见一个 available 状态的 PV，如下所示：

 $ kubectl get pv
 NAME      CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM     STORAGECLASS   REASON    AGE
 bos-pv    5Gi        RWO,ROX        Retain           Available             csi-bos                  3s

3. 创建持久卷声明 PVC

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: bos-pvc
spec:
  accessModes:
  - ReadWriteOnce
  - ReadOnlyMany
  resources:
    requests:
      storage: 5Gi
  storageClassName: csi-bos

说明：YAML 中 storageClassName 字段用于和 PV 关联，建议填写，如果集群中定义了多种存储类，通过指定 storageClassName，用户可以请求特定类存储资源 PV。

绑定前，PVC 为 pending 状态

  $ kubectl get pvc
  NAME      STATUS    VOLUME    CAPACITY   ACCESS MODES   STORAGECLASS   AGE
  bos-pvc   Pending                                       csi-bos        2s

绑定后，PV 和 PVC 状态变为 Bound

  $ kubectl get pv
  NAME      CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS    CLAIM             STORAGECLASS   REASON    AGE
  bos-pv    5Gi        RWX            Retain           Bound     default/bos-pvc                            36s
  $ kubectl get pvc
  NAME      STATUS    VOLUME    CAPACITY   ACCESS MODES   STORAGECLASS   AGE
  bos-pvc   Bound     bos-pv    5Gi        RWO,ROX        csi-bos        1m

有关 PV 和 PVC 的更多设置和字段说明，参见 Kubernetes官方文档。

4. 在 Pod 内挂载 PVC

apiVersion: v1
kind: Pod
metadata:
  name: nginx01
  namespace: default
spec:
  containers:
  - image: nginx
    imagePullPolicy: Always
    name: nginx01
    volumeMounts:
    - mountPath: /var/lib/www/html
      name: bos-pvc
    - mountPath: /var/lib/www/html000
      name: bos-pvc
      readOnly: true
    livenessProbe:
      exec:
        command:
        - stat
        - /var/lib/www/html
  volumes:
  - name: bos-pvc
    persistentVolumeClaim:
      claimName: bos-pvc
      readOnly: false

Pod 创建后，可以读写容器内的 /var/lib/www/html 路径来访问相应的 BOS 存储上的内容, 同时该路径支持读写，/var/lib/www/html000 支持只读。

注意：

由于 CSI bosplugin 依赖 bosfs，在 Pod 中配置 livenessProbe 检查挂载点状态可以避免容器无法感知 bosfs 异常重启后的挂载点失效的问题，强烈建议添加该配置。

同时，支持在其余机器上挂载只读盘，如创建一个包含只读 BOS bucket 的 Pod

 apiVersion: v1
 kind: Pod
 metadata:
   name: nginx01-bbaa
 spec:
   containers:
   - image: nginx
     imagePullPolicy: Always
     name: nginx01
     terminationMessagePath: /dev/termination-log
     terminationMessagePolicy: File
     volumeMounts:
     - mountPath: /var/lib/www/html000
       name: bos-pvc
       readOnly: true
     livenessProbe:
       exec:
         command:
         - stat
         - /var/lib/www/html000
   volumes:
   - name: bos-pvc
     persistentVolumeClaim:
       claimName: bos-pvc
       readOnly: true

5. 释放 PV 和 PVC 资源

完成存储资源的使用后，可以释放 PVC 和 PV 资源。

使用以下命令可以释放 PVC：

 $ kubectl delete -f  bos-pvc.yaml

释放 PVC 后，原来与之绑定的 PV 状态会变为 Release，如下所示：

 NAME      CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS     CLAIM             STORAGECLASS   REASON    AGE
 bos-pv    5Gi        RWO,ROX        Retain           Released   default/bos-pvc   csi-bos        16m

输入以下指令释放 PV 资源：