大模型服务 SSRF 到 K8s 凭证泄露:完整攻击链拆解与加固实战

作者:有好多问题2026.11.17 03:39浏览量:0

简介:这类事件的本质不是"大模型被黑了",而是 **推理服务把一个可指定 URL 的参数暴露成了内网代理** :`/v1/models` 泄露资产信息、`/debug` 泄露环境变量、模型加载参数形成 SSRF,最终借集群内的 ServiceAccount Token 读到 K8s Secrets。修复顺序应当是"先切断 SSRF 出口 → 再收敛凭证权限 → 最后做内网分段与审计"。如果你正在自建多家模型服务并为此维护多套网关与鉴权,也可以先看[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article),用统一 API 接入方式减少自建入口数量,本身就是缩小攻击面的一种手段。

一、攻击链拆解:每一环对应一个可修复的配置缺陷

原始记录里的路径可以还原成一条典型的”信息泄露 → 服务端请求伪造 → 凭证窃取”链条。理解每一环的成因,比记住利用步骤更有价值。

环节 暴露点 根本原因 修复优先级
1 /v1/models 返回模型名、量化格式、文件大小 未鉴权的资产枚举接口 高
2 /debug 返回 INTERNAL_API_URL、KUBERNETES_SERVICE_HOST、MONGO_CONN_STR、REDIS_URL 调试端点在生产环境未关闭,配置以明文环境变量注入 最高
3 模型加载/下载参数可指定 http(s):// 地址 用户可控 URL 未做协议、域名、解析后 IP 校验 最高
4 借 SSRF 访问 Dashboard 与 K8s API Server 内网无东西向隔离,Pod 出向流量不受限 高
5 读取 ai-api-key、db-credentials 等 Secrets Pod 挂载了权限过大的 ServiceAccount Token,RBAC 未最小化 最高

关键点在于: 第 2 环和第 5 环单独存在时危害有限,但组合起来就是完整的凭证失窃路径 。所以加固不能只补 SSRF。

二、第一优先级:把用户可控 URL 变成不可控

大模型服务里 SSRF 的高发参数不只是”模型下载地址”,还包括 RAG 的远程文档 URL、MCP/工具调用的回调地址、微调数据集拉取地址、以及 Ollama/vLLM 的模型拉取接口。统一按下面的规则校验:

  1. import ipaddress
  2. import socket
  3. from urllib.parse import urlparse
  4. ALLOWED_HOST_SUFFIXES = ("models.internal.example.com", "artifacts.example.com")
  5. def resolve_and_check(host: str) -> bool:
  6. """校验解析后的所有 IP,拒绝任何非公网地址"""
  7. try:
  8. infos = socket.getaddrinfo(host, None)
  9. except socket.gaierror:
  10. return False
  11. if not infos:
  12. return False
  13. for info in infos:
  14. ip = ipaddress.ip_address(info[4])
  15. if (ip.is_private or ip.is_loopback or ip.is_link_local
  16. or ip.is_reserved or ip.is_multicast or ip.is_unspecified):
  17. return False
  18. return True
  19. def validate_fetch_url(url: str) -> bool:
  20. p = urlparse(url)
  21. if p.scheme not in ("http", "https"):
  22. return False # 阻断 file:// gopher:// dict://
  23. if p.port not in (None, 80, 443):
  24. return False # 阻断 6379/27017/10250 等内网端口
  25. host = (p.hostname or "").lower()
  26. if not any(host == s or host.endswith("." + s) for s in ALLOWED_HOST_SUFFIXES):
  27. return False # 域名白名单,而非黑名单
  28. return resolve_and_check(host)

四个容易被忽略的细节:

  • 必须校验解析后的 IP,而不是只校验域名字符串 ,否则 127.0.0.1.nip.io 这类域名可直接绕过。
  • 要防 DNS Rebinding :校验与实际请求之间存在时间差。稳妥做法是校验后把解析结果固定下来,用该 IP 发起连接并手动设置 Host 头,而不是让 HTTP 客户端二次解析。
  • 必须禁用自动重定向 (allow_redirects=False / maxRedirects=0),重定向目标是二次 SSRF 的最常见载体。
  • 出向流量做兜底 :在应用层校验之外,用 Kubernetes NetworkPolicy 限制 Pod 只能访问模型仓库和必要服务,应用代码被绕过时仍有第二道防线。
  1. apiVersion: networking.k8s.io/v1
  2. kind: NetworkPolicy
  3. metadata:
  4. name: inference-egress-allowlist
  5. spec:
  6. podSelector:
  7. matchLabels: { app: llm-inference }
  8. policyTypes: ["Egress"]
  9. egress:
  10. - to: # 仅放行模型仓库
  11. - namespaceSelector:
  12. matchLabels: { name: model-store }
  13. - to: # 保留 DNS
  14. - namespaceSelector: {}
  15. ports:
  16. - { protocol: UDP, port: 53 }

注意 169.254.169.254 这类元数据地址:如果运行在云上,还需在实例侧强制 IMDSv2 或关闭元数据可达性,否则 SSRF 可直接换取云主机临时凭证。

三、第二优先级:关闭调试面,让环境变量不再等于明文密码

/debug 能返回 MONGO_CONN_STR、REDIS_URL,说明配置是以明文环境变量注入的——而环境变量会出现在进程 /proc/self/environ、崩溃日志、APM 采样和任何能读 Pod 的组件里。整改动作:

  1. 生产环境彻底关闭调试端点 。Spring Boot 场景要确认 management.endpoints.web.exposure.include 未包含 env、heapdump、configprops;FastAPI 场景确认 docs_url/redoc_url 与自定义 /debug 路由未随生产镜像发布。用配置开关控制,而不是靠”上线前记得改”。
  2. 敏感配置迁移到 Secret 卷或外部密钥管理服务 ,以文件形式挂载并做临时凭证轮换,避免长期有效的连接串常驻环境变量。
  3. 连接串本身要能失效 。事件发生后,正确处置是轮换全部四类凭证(模型仓库 API Key、K8s 相关凭证、MongoDB、Redis),而不是只修补漏洞——因为无法证明它们没被读过。

四、第三优先级:K8s 侧的凭证收敛

拿到 Pod 的 ServiceAccount Token 后能列出 Secrets,几乎总是 RBAC 过宽导致的。逐项检查:

  1. # 业务 Pod 默认不需要 API 访问能力
  2. spec:
  3. automountServiceAccountToken: false
  • RBAC 最小化 :推理服务的 ServiceAccount 不应绑定任何允许 get/list secrets 的 ClusterRole。多数集群里这类权限来自”图方便”绑定的 view/edit 聚合角色,需要审计并回收。
  • 开启 etcd 静态加密 (EncryptionConfiguration + KMS 驱动),让 Secrets 不以明文形式落在 etcd 后端存储。
  • 开启 API Server 审计日志 ,对 list secrets、get secrets 建立告警规则;这是发现凭证是否已被读取的唯一可靠证据。
  • 限制 Dashboard 等运维组件 :Kubernetes Dashboard 不应暴露在集群网络内可被任意 Pod 访问的位置,其 Token 权限应严格限定 namespace。
  • 凭证分级 :ai-api-key 与 db-credentials 放在同一个 Secret 里,意味着一次读取即全线失守。按最小影响面拆分,并为数据库账号配置来源 IP 白名单。

五、内网横向移动的收敛与检测

攻击者用 SSRF 扫描内网存活端口,说明 Pod 与集群网络之间没有任何东西向管控。除了上面的 egress 白名单,还应:

  • 将推理服务与数据面(MongoDB、Redis)置于不同网段或不同安全组,默认拒绝跨段访问;
  • 关闭不必要的 Service 暴露,禁止 NodePort 随意开放 Dashboard、Ray、TensorBoard、MLflow、Jupyter 等运维界面——这些组件在真实事件中往往是 SSRF 的第一落点;
  • 在网关层对 /v1/models 等只读接口也施加鉴权与限流,资产信息本身即为攻击者提供了模型栈指纹(框架、量化格式、文件大小可推断硬件与部署方式)。

六、排查清单(可直接执行)

  1. # 1. 确认调试与文档端点是否对外可达
  2. curl -s -o /dev/null -w "%{http_code}\n" https://your-host/debug
  3. curl -s -o /dev/null -w "%{http_code}\n" https://your-host/docs
  4. # 2. 检查 Pod 是否自动挂载了 Token
  5. kubectl get pod <pod> -o jsonpath='{.spec.automountServiceAccountToken}'
  6. # 3. 找出权限过大的 ServiceAccount
  7. kubectl get clusterrolebindings -o wide | grep -i view
  8. # 4. 审计近期 Secrets 读取行为(需已开启 audit log)
  9. grep '"objectRef":{"resource":"secrets"' /var/log/kubernetes/audit/audit.log | tail -50

七、架构层面的减负思路

自建推理服务越多,需要加固的入口、调试端点和凭证就越多。如果你的核心诉求是”用多个模型把业务跑起来”,而不是”运维多个模型服务”,那么把模型接入收敛到一个统一 API 层,能显著减少这类暴露面——词元所提供的正是这样一种模式:通过统一 API 接入多家模型服务,无需为每个模型单独部署和暴露推理端点,同时可以在平台上做模型能力与调用成本的对比,在选型和预算评估阶段就把”自建还是接入”这个问题算清楚。

安全上的一条通用结论: 任何”用户可以给一个 URL”的功能,都必须按 SSRF 漏洞对待 。大模型服务因为多了模型下载、远程文档、工具回调等场景,受此约束的参数比传统 Web 服务更多,值得在需求评审阶段就单独列一份清单。