Pod在CCE中使用RDMA网络
更新时间：2026-01-21
本文介绍如何在CCE托管集群中配置和使用RDMA（RemoteDirect Memory Access）技术，实现高性能容器网络通信。RDMA技术可显著降低网络延迟并提升吞吐量，适用于高性能计算、AI训练、分布式存储等对网络性能要求严苛的场景。
RDMA介绍
RDMA（Remote Direct Memory Access，远程直接内存访问）是一种高性能网络通信技术，旨在解决传统网络传输中服务器端数据处理的延迟问题。RDMA允许数据直接从一台计算机的内存传输到另一台计算机，无需双方操作系统的介入。这种机制实现了高吞吐量、低延迟的网络通信，尤其适合在大规模并行计算机集群中使用。
RDMA通过网络将数据直接传入目标计算机的存储区，实现从一个系统到远程系统存储器的快速数据移动。整个传输过程不对操作系统造成任何影响，因此几乎不消耗计算机的处理能力，继而减少外部存储器复制和上下文切换的开销，节省内存带宽和CPU周期，以提升应用系统性能。
前提条件
- 在集群中，添加具备RDMA能力的节点。
操作步骤
- 安装RDMA Device Plugin组件。
a. 在集群列表中，点击目标集群，进入集群详情页面。在左侧导航页面中，点击 运维与管理 - 组件管理。
b. 在 组件管理 页面，点击 云原生AI 页签，定位到 CCE RDMA Device Plugin 组件，选择安装。 - 确认RDMA Device Plugin已正常运行，且在每个有RDMA的节点都已启动。
Plain Text
1kubectl get ds rdma-device-plugin -n kube-system预期输出
Plain Text
1NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE
2rdma-device-plugin 1 1 1 1 1 <none> XXh- 检查节点是否拥有资源
rdma/hca。
Plain Text
1kubectl get node XXX.XX.XX.XX -oyaml预期输出
Plain Text
1allocatable:
2 cce.baidubce.com/eni: "0"
3 cce.baidubce.com/ip: "12"
4 cce.baidubce.com/rdmaeni: "0"
5 cce.baidubce.com/rdmaip: "12"
6 cpu: 125600m
7 ephemeral-storage: "392876111337"
8 hugepages-1Gi: "0"
9 hugepages-2Mi: "0"
10 memory: 1002409Mi
11 nvidia.com/gpu: "8"
12 pods: "128"
13 rdma/hca: 1k
14 capacity:
15 cce.baidubce.com/eni: "0"
16 cce.baidubce.com/ip: "12"
17 cce.baidubce.com/rdmaeni: "0"
18 cce.baidubce.com/rdmaip: "12"
19 cpu: "128"
20 ephemeral-storage: 412546320Ki
21 hugepages-1Gi: "0"
22 hugepages-2Mi: "0"
23 memory: 1029911Mi
24 nvidia.com/gpu: "8"
25 pods: "128"
26 rdma/hca: 1k- 执行以下YAML文件，为Pod使用RDMA功能申请
rdma/hca资源。
- 申请量为
rdma/hca：1即可
Plain Text
1apiVersion: apps/v1
2kind: Deployment
3metadata:
4 name: rdma-test01
5 labels:
6 app: rdmatest
7spec:
8 replicas: 1
9 selector:
10 matchLabels:
11 app: rdmatest
12 template:
13 metadata:
14 labels:
15 app: rdmatest
16 spec:
17 containers:
18 - name: rdmatest
19 imagePullPolicy: Always
20 image: registry.baidubce.com/cce-plugin-pro/mlnx_ofed_linux-5.3-1.0.0.1-centos7.9:latest
21 command: ["/bin/sh", "-c", "while true; do echo hello; sleep 1; done"]
22 resources:
23 limits:
24 rdma/hca: 1
25 securityContext:
26 capabilities:
27 add:
28 - IPC_LOCK