使用直连 Pod 模式 LoadBalancer Service
所有文档

          容器引擎 CCE

          使用直连 Pod 模式 LoadBalancer Service

          传统模式与直连模式对比

          特性

          传统模式 LoadBalancer Service 以集群节点的 IP 地址作为 BLB 的后端服务器。 当访问传统模式 LoadBalancer Service 时,请求会被百度智能云提供的负载均衡服务(BLB)转发到节点上,并在节点中进一步通过 iptables 或 IPVS 转发到具体的某一个 Pod 上。 在这个过程中请求经历了 2 次负载均衡操作。

          直连 Pod 模式 LoadBalancer Service 以 Pod 的 IP 地址作为其后端服务器。 当访问直连 Pod 模式 LoadBalancer Service 时,Service ,请求只需经过一次负载均衡操作即可被转发到具体的 Pod 上。 这种模式的 Service 具有以下优势:

          • 保留请求的源 IP;
          • 少一次请求转发,系统具有更高的性能。
          • Pod 层面更均匀的负载均衡

          性能

          针对两种模式的 LoadBalancer Service,我们对其平均网络延时进行了测试。根据测试结果,直连 Pod 的 LoadBalancer Service 平均可以减少约 10% 的网络时延。
          Pod直连性能评测.jpg

          使用前提条件

          使用直连 Pod 模式 LoadBalancer Service 的集群应同时满足集群版本、插件、容器网络类型 3 个方面的前提条件:

          确认集群版本

          新版 CCE 集群(集群 ID 以 cce- 为前缀)集群支持此功能。
          旧版 CCE 集群(集群 ID 以 c- 为前缀)集群不支持此功能。

          确认 CCE LB Controller 插件

          集群中应当部署有 CCE LB Controller 插件。
          查看集群控制台的『工作负载-部署列表』界面,在 kube-system 命名空间下存在 cce-lb-controller 时支持此功能,如图所示。

          cce-lb-controller.png

          如果集群并未部署该插件,可以采用如下方式部署:
          登录百度云控制台,进入『容器引擎CCE - Helm - Helm模板 - 百度云模板』页面,搜索cce-lb-controller,可看到如下页面

          helm-lb1.png

          点击进入可以看到如下页面,选择 1.0.0 版本 并安装。请留意安装正确的版本。

          helm-lb2.png

          点击右侧的『安装』,输入实例名称和部署集群,并点击确定,即可完成 CCE-LB-Controller 的部署。

          helminstall.png

          确认容器网卡类型

          • 网卡类型为 veth 或 kubenet 时,满足要求。
          • 网卡类型为 IPVLAN 时,需要设置 ConfigMap cce-ip-masq-agentmasqOutBoundmasqOutBoundIPv6 属性为 false,操作流程如下:

            使用Kubectl连接集群,输入 kubectl describe configmap cce-ip-masq-agent -n kube-system 指令,您可能会得到如下输出,此时 masqOutBoundmasqOutBoundIPv6 为 true:

            # kubectl describe configmap  cce-ip-masq-agent -n kube-system
            Name:         cce-ip-masq-agent
            Namespace:    kube-system
            Labels:       addonmanager.kubernetes.io/mode=EnsureExists
            Annotations:
            Data
            ====
            config:
            ----
            nonMasqueradeCIDRs:
              - 10.0.0.0/8
              - 172.16.0.0/12
              - 192.168.0.0/16
              - fc00::/7
            masqOutBound: true
            masqOutBoundIPv6: true
            masqLinkLocal: false
            masqLinkLocalIPv6: false
            resyncInterval: 60s
            
            Events:  <none>

            输入 kubectl edit configmap cce-ip-masq-agent -n kube-system 指令,然后修改 masqOutBoundmasqOutBoundIPv6 为 false 并保存,cce-ip-masq-agent 配置信息将会自动更新,此时再次输入 kubectl describe configmap cce-ip-masq-agent -n kube-system 指令,您可能会得到如下输出,此时 masqOutBoundmasqOutBoundIPv6 已经为 false。

            # kubectl describe configmap  cce-ip-masq-agent -n kube-system
            Name:         cce-ip-masq-agent
            Namespace:    kube-system
            Labels:       addonmanager.kubernetes.io/mode=EnsureExists
            Annotations:
            Data
            ====
            config:
            ----
            nonMasqueradeCIDRs:
              - 10.0.0.0/8
              - 172.16.0.0/12
              - 192.168.0.0/16
              - fc00::/7
            masqOutBound: false
            masqOutBoundIPv6: false
            masqLinkLocal: false
            masqLinkLocalIPv6: false
            resyncInterval: 60s
            
            Events:  <none>

          操作步骤

          检查配额限制

          直连 Pod 模式 LoadBalancer Service 使用应用型 BLB,其后端默认最多关联 50 个 Pod。 如果无法满足需求,请提交工单申请开放后端数量限制。

          开放安全组端口

          当 CCE 集群的容器网络模式为 VPC 网络 时,需要为集群节点绑定的安全组中为目的端口 Service TargetPort 放通流量。否则数据包无法到达 Pod。

          当 CCE 集群的容器网络模式为 VPC-CNI 时,需要在 ENI 弹性网卡绑定的安全组中为目的端口 Service TargetPort 放通流量。否则数据包无法到达 Pod。

          创建 Service

          创建直连 Pod 模式 LoadBalancer Service 时,需要为 annotations 属性添加 service.beta.kubernetes.io/cce-load-balancer-backend-type: "eni"
          示例 yaml 如下:

          apiVersion: v1
          kind: Service
          metadata:
            name: pod-direct-service-example
            annotations:
              prometheus.io/scrape: "true"
              service.beta.kubernetes.io/cce-load-balancer-backend-type: "eni"
          spec:
            selector:
              app: nginx
            type: LoadBalancer
            sessionAffinity: None
            ports:
            - name: nginx
              protocol: TCP
              port: 80
              targetPort: 80

          常见问题

          Pod 零中断滚动更新

          使用直连 Pod 的 LB Service 在 Pod 滚动更新时可能服务中断问题。
          原因
          一个 Pod 在被终止时,会发生如下事件:

          1. Pod 进入 Terminating 状态;
          2. Pod 从 Endpoints 中被摘除;LB Controller 监听到 Endpoints 变化,并从应用型 BLB 中摘除该 Pod 后端;
          3. Pod 销毁;
            其中2,3步是并行执行的。当 Pod 销毁后,LB Controller 仍未将 Pod 摘除时,就可能会有流量被转发到被销毁的 Pod,导致服务中断。
            解决方法
            为 Pod 设置 preStopHook,睡眠一段时间(一般为 30 秒),待到应用型 BLB 将 Pod 摘除后再销毁。
            参考如下:
                lifecycle:
                  preStop:
                    exec:
                      command: ["sleep", "30"]
          上一篇
          通过 YAML 创建 LoadBalancer Service
          下一篇
          通过 CCE 使用 K8S Ingress