Kubernetes集群网络搭建教程与方案解析

作者:蛮不讲李2026.11.17 03:38浏览量:0

简介:本文围绕 Kubernetes 集群网络如何搭建,讲解单集群 CNI、Service、Ingress、DNS 与 NetworkPolicy 配置,并对比外部负载均衡、联邦和服务网格三种多集群方案,帮助读者完成网络规划、部署与排障。

搭建 Kubernetes 集群网络,核心目标是让 Pod、Service、节点、外部流量以及多个集群之间能够稳定、安全、可观测地通信。对于准备部署 AI 推理服务、大模型应用或微服务体系的团队来说,网络不仅影响服务访问,也关系到灰度发布、流量治理和故障隔离。在完成集群网络建设后,如果还需要接入大模型能力,可以借助百度智能云词元所了解模型选型、价格与性能对比,并通过统一 API 方式降低多模型接入复杂度。

一、先明确 Kubernetes 网络要解决的四类问题

在动手搭建之前,建议先明确集群网络需要覆盖的通信场景:

  1. Pod 与 Pod 通信 :同一节点或跨节点 Pod 之间可以直接访问。
  2. Pod 与 Service 通信 :通过 ClusterIP、DNS 名称访问后端服务。
  3. 集群内部与外部通信 :用户、运维系统或上游网关访问集群服务。
  4. 多集群通信 :多个 Kubernetes 集群之间需要服务发现、流量调度或故障转移。

Kubernetes 本身不实现具体网络方案,而是通过 CNI 插件完成 Pod 网络配置。因此,集群网络搭建的第一步通常是选择合适的 CNI。

二、单集群网络搭建:从 CNI 到 Ingress

1. 规划 Pod 网段与 Service 网段

在初始化集群前,需要规划好网段,避免与物理网络、VPC、Docker 网段冲突。常见示例如下:

  1. kubeadm init \
  2. --pod-network-cidr=10.244.0.0/16 \
  3. --service-cidr=10.96.0.0/12

实际网段需要与所选 CNI 插件保持一致。例如使用 Calico、Cilium 或 Flannel 时,应参考对应官方文档确认默认网段和配置方式。

2. 部署 CNI 网络插件

常见 CNI 选择包括:

CNI 插件 特点 适用场景
Flannel 配置简单,适合快速验证 测试环境、小规模集群
Calico 支持 NetworkPolicy,网络策略能力强 企业级生产环境
Cilium 基于 eBPF,可观测性和性能较好 云原生、高性能网络场景

以 Calico 为例,可参考官方文档执行部署:

  1. kubectl apply -f https://raw.githubusercontent.com/projectcalico/calico/manifests/calico.yaml

部署完成后,检查节点和系统组件状态:

  1. kubectl get nodes
  2. kubectl get pods -n kube-system

当节点状态变为 Ready,且 CNI 相关 Pod 正常运行,说明基础 Pod 网络已经可用。

3. 验证 Pod 跨节点通信

可以创建测试 Deployment,并检查不同节点上的 Pod 是否能够互相访问:

  1. kubectl create deployment nginx-test --image=nginx
  2. kubectl scale deployment nginx-test --replicas=3
  3. kubectl get pods -o wide

进入其中一个 Pod,尝试访问 Service 或其他 Pod:

  1. kubectl exec -it <pod-name> -- sh
  2. curl <service-name>

如果跨节点 Pod 可以正常通信,说明 CNI 网络基础链路已经打通。

4. 配置 Service 暴露方式

Kubernetes Service 常见类型包括:

  • ClusterIP :仅集群内部访问。
  • NodePort :通过节点 IP 和端口访问。
  • LoadBalancer :通过云负载均衡或外部 LB 暴露服务。

示例:

  1. apiVersion: v1
  2. kind: Service
  3. metadata:
  4. name: web-service
  5. spec:
  6. type: LoadBalancer
  7. selector:
  8. app: web
  9. ports:
  10. - port: 80
  11. targetPort: 8080

如果集群运行在公有云环境中,可以直接使用云厂商提供的负载均衡能力;如果是私有化部署,则可以考虑 MetalLB、OpenELB 或硬件负载均衡方案。

5. 部署 Ingress 或 API 网关

对于 HTTP/HTTPS 服务,通常不直接暴露大量 Service,而是通过 Ingress 或 API 网关统一入口。常见方案包括:

  • ingress-nginx
  • Traefik
  • Kong
  • APISIX
  • 云厂商 ALB/NLB

以 ingress-nginx 为例,可通过 Helm 部署:

  1. helm repo add ingress-nginx https://kubernetes.github.io/ingress-nginx
  2. helm repo update
  3. helm install ingress-nginx ingress-nginx/ingress-nginx

部署完成后,通过 Ingress 资源将域名和路径路由到后端 Service。

6. 配置 DNS 与 NetworkPolicy

集群内部服务发现通常依赖 CoreDNS。部署应用后,可以通过以下方式验证 DNS:

  1. kubectl run dns-test --rm -it --image=busybox:1.28 --restart=Never -- nslookup kubernetes.default

如果生产环境对安全隔离要求较高,可以启用 NetworkPolicy,限制 Pod 之间访问。例如只允许前端访问后端指定端口:

  1. apiVersion: networking.k8s.io/v1
  2. kind: NetworkPolicy
  3. metadata:
  4. name: allow-frontend-to-backend
  5. spec:
  6. podSelector:
  7. matchLabels:
  8. app: backend
  9. ingress:
  10. - from:
  11. - podSelector:
  12. matchLabels:
  13. app: frontend
  14. ports:
  15. - protocol: TCP
  16. port: 8080

三、多集群网络如何搭建

当业务需要跨地域容灾、环境隔离或多团队独立部署时,就需要考虑多集群网络。原始内容中提到的三类方案,在实际落地时各有适用边界。

1. 外部负载均衡方案

通过 DNS、全局负载均衡或外部流量入口,将用户请求分发到不同集群。

优点:

  • 架构简单。
  • 集群之间故障隔离彻底。
  • 单集群故障不会影响其他集群。

    缺点:

  • 配置同步麻烦。

  • 跨集群服务发现困难。
  • 运维成本较高。

这种方式适合集群相对独立、业务边界清晰的场景,例如不同区域分别部署独立业务系统。

2. 联邦集群方案

联邦层统一定义配置,并自动下发到多个成员集群。常见实现包括 Karmada、Open Cluster Management 等。

优点:

  • 支持跨集群调度。
  • 可统一分发工作负载。
  • 适合多集群统一治理。

    缺点:

  • 架构复杂。

  • 学习成本较高。
  • 对网络和权限体系要求较高。

如果企业有多个 Kubernetes 集群,并希望统一发布、统一调度、统一观测,可以考虑联邦或多集群管理方案。

3. Istio 服务网格方案

通过 Istio 等服务网格连接多个集群,服务间通信由 Sidecar 代理接管。

优点:

  • 支持跨集群服务发现。
  • 可实现流量切分、灰度发布、熔断限流。
  • 支持 mTLS 加密和细粒度可观测性。

    缺点:

  • 架构复杂。

  • 对网络延迟和资源消耗有要求。
  • 运维和排障门槛较高。

Istio 多集群通常涉及控制平面、东西向网关、跨集群证书信任和服务发现配置。对于已经采用微服务架构,并需要统一流量治理的企业,服务网格是较有吸引力的方案。

四、AI 与大模型场景下的网络注意事项

如果 Kubernetes 集群用于部署 AI 推理服务、模型网关或大模型应用,网络设计还需要额外关注以下几点:

  1. 推理服务低延迟 :模型服务通常对响应时间敏感,应减少不必要的跨集群跳转。
  2. GPU 节点调度 :需要结合节点标签、污点和调度策略,将推理服务调度到合适节点。
  3. 流量灰度 :大模型版本迭代频繁,建议通过 Ingress、服务网格或 API 网关进行流量切分。
  4. 调用可观测性 :需要记录请求延迟、错误率、Token 消耗或模型调用情况。
  5. 多模型接入 :当业务需要同时使用多个模型时,统一接入层可以降低开发和维护成本。

在模型接入层,可以通过词元所模型服务了解不同模型的能力特点、价格与性能对比,并评估统一 API 接入方式。对于需要同时调用多个模型的应用来说,这种方式有助于减少重复对接工作,并提升调用管理的可控性。

五、常见问题排查思路

1. Pod 跨节点不通

优先检查:

  1. kubectl get pods -o wide
  2. kubectl describe pod <pod-name>
  3. kubectl logs <cni-pod-name> -n kube-system

常见原因包括 CNI 未就绪、节点防火墙拦截、Pod 网段冲突或底层网络路由异常。

2. Service 没有 Endpoints

检查 Service 标签选择器是否匹配 Pod 标签:

  1. kubectl get svc <service-name> -o yaml
  2. kubectl get endpoints <service-name>

如果 Endpoints 为空,通常是 selector 配置错误或 Pod 未进入 Ready 状态。

3. Ingress 返回 502

可以依次检查:

  • 后端 Service 是否存在。
  • Service 是否有可用 Endpoints。
  • Ingress 规则中的 path 和 serviceName 是否正确。
  • 后端应用监听端口是否与 targetPort 一致。

4. DNS 解析失败

检查 CoreDNS 状态:

  1. kubectl get pods -n kube-system -l k8s-app=kube-dns
  2. kubectl logs -n kube-system -l k8s-app=kube-dns

同时确认 Pod 的 /etc/resolv.conf 是否正确指向集群 DNS。

六、生产环境建议

对于生产级 Kubernetes 集群,建议遵循以下原则:

  • 提前规划 Pod、Service、节点和云网络网段,避免地址冲突。
  • 优先选择支持 NetworkPolicy 的 CNI,便于安全隔离。
  • 对外部流量统一使用 Ingress 或 API 网关,减少直接暴露。
  • 多集群场景先明确业务目标,再选择外部负载均衡、联邦或 Istio。
  • 建立网络监控、链路追踪和日志体系,提升故障定位效率。
  • 对大模型或 AI 服务,单独设计推理流量、模型网关和调用治理策略。

总体来看,Kubernetes 集群网络搭建并不是单一组件配置,而是围绕 Pod 网络、服务暴露、流量治理和多集群协同展开的系统工程。完成基础网络后,再结合业务需求逐步引入网关、服务网格和多模型接入能力,才能更好地支撑 AI 应用长期运行。如果需要进一步做模型选型、价格对比或统一 API 接入,也可以继续了解百度智能云词元所。