简介:本指南面向企业技术、AI、合规与运维团队,围绕责任、数据、工具三条主线,提供从资产台账、风险分级评估、运行监控到退役处置的可落地方法,帮助读者建立可审计、可复核、可量化的AI治理闭环,降低上线风险并提升管理效率。
企业搭建负责任AI治理框架,不能只停留在口号或事后整改,而应把治理要求嵌入AI模型接入、运行、退役的全过程。核心目标是将“责任主体、数据合规、运行安全、审计追溯”前置到业务流程起点,使每一个进入业务的AI模型或第三方AI服务,都有清晰的负责人、明确的评估依据、可执行的监控规则和可验证的处置结果。
治理框架应围绕三个问题展开:
本方法适用于以下场景:
为避免治理责任悬空,建议先建立责任矩阵:
| 角色 | 主要职责 | 关键协同节点 |
|---|---|---|
| 业务负责人 | 明确业务目标、使用边界、用户影响和验收标准 | 接入申请、业务影响评估、退役审批 |
| 模型/AI负责人 | 负责模型设计、训练、评测、版本管理和技术风险 | 接入评估、运行监控、异常处置 |
| 数据合规负责人 | 审核数据来源、数据分类分级、授权和共享合规性 | 接入前评估、隐私影响评估、退役删除 |
| 安全运维负责人 | 负责权限控制、漏洞管理、监控告警、日志和应急 | 运行期监控、安全事件处置、备份清理 |
| 审计/内控人员 | 检查流程留痕、证据完整性和指标真实性 | 抽检、复核、整改跟踪 |
| 采购/法务/外部管理 | 审查第三方合同、责任条款、数据处理条款 | 供应商准入、合同条款审核 |
治理的前提是“看得见”。企业应建立统一的AI资产台账,覆盖所有正在使用、测试、试点和计划引入的AI模型与服务。台账不只是清单,更是后续评估、监控和审计的基础数据源。
建议台账至少包含以下字段:
| 字段 | 说明 | 示例 |
|---|---|---|
| 模型唯一ID | 全局唯一标识,避免重复和混淆 | AI-2025-001 |
| 模型名称 | 业务可读名称 | 内部研发代码辅助模型 |
| 业务域 | 所属部门或业务场景 | 研发效能 |
| 使用方式 | 自研、外采、API调用、开源微调等 | API调用 |
| 数据分级 | 依据企业数据分类分级标准 | 内部数据/含个人信息 |
| 部署环境 | 私有云、公有云、本地、边缘端等 | 企业私有云 |
| 第三方供应商 | 外采或调用第三方服务时填写 | 某AI服务商 |
| 备案/审批信息 | 监管备案、内部审批单号、合同编号 | 备案号或审批号 |
| 责任人 | 业务、技术、合规责任人 | 张三/李四/王五 |
| 最近复核日期 | 用于定期复审和到期提醒 | 2026-01-01 |
| 状态 | 待评估、运行中、暂停、已退役 | 运行中 |
同时,企业需要提前建立数据分类分级标准、第三方准入标准、审批流程载体和审计日志系统。若缺少这些基础,后续治理容易流于形式。
企业应为每个AI模型或第三方AI服务建立唯一标识,登记其名称、用途、业务板块、责任人、数据来源、数据流向、部署环境和供应商信息。台账必须同时覆盖自研模型和外部服务,避免只管理自研模型而忽略第三方引入带来的数据泄露、模型偏见、服务不可用、合同责任不清等风险。
台账不是一次性文档,而应作为动态治理入口。每次模型升级、数据用途变化、供应商变更、业务场景扩展或发生安全事件时,都应同步更新台账信息。
所有AI模型及第三方服务在进入业务前,必须提交评估申请并通过审批。评估不能只问“是否合规”,而应根据风险等级确定审查深度、证据清单、通过阈值和复核机制。
建议采用三级风险分级:
| 风险等级 | 判定条件 | 所需证据 | 通过要求 | 常见拒绝原因 |
|---|---|---|---|---|
| 低风险 | 仅用于内部辅助,不处理敏感数据,不影响用户权益,不对外输出 | 用途说明、数据来源说明、基础测试报告 | 责任人确认,证据齐全即可 | 缺少数据授权、测试不充分 |
| 中风险 | 涉及内部业务数据、员工信息、第三方合作、可能影响业务决策 | 数据分级、接口说明、供应商安全说明、权限清单 | 数据合规、安全能力、权限控制均通过 | 供应商材料缺失、权限过大 |
| 高风险 | 面向用户、涉及个人信息或敏感数据、自动化决策、跨境传输、关键业务系统 | 隐私影响评估、安全测试报告、人工复核机制、备案或合同审批材料、应急预案 | 多角色会签,证据完整并通过复核 | 缺少隐私影响评估、无人工复核、备案不明 |
高风险模型应执行更严格的审批和复核机制。审批记录至少应包含:申请单号、模型ID、风险等级、证据链接、审批人、审批时间、审批结论、拒绝原因、整改要求、复核时间、有效期。所有审批材料应可追溯,并留存至法定或企业规定期限。
可执行评估模板示例如下,实际落地时可将 write_audit_log、create_remediation_task 替换为企业的工单、审计日志或审批系统接口:
from datetime import datetimedef assess_risk_level(model, checklist):if model.public_facing or model.automated_decision or model.contains_sensitive_data or model.cross_border:return "high"if model.processes_internal_data or model.is_third_party or model.requires_regulatory_review:return "medium"return "low"def run_checklist(model, risk, checklist):items = []items.append(checklist.verify_data_source(model))items.append(checklist.verify_data_classification(model))if model.is_third_party:items.append(checklist.verify_vendor_security(model))items.append(checklist.verify_vendor_contract_terms(model))if model.contains_personal_data:items.append(checklist.verify_privacy_impact_assessment(model))if model.cross_border:items.append(checklist.verify_cross_border_transfer_assessment(model))if risk == "high":items.append(checklist.verify_security_test_report(model))items.append(checklist.verify_human_review_mechanism(model))return {"risk": risk,"items": items,"approved": all(item.passed for item in items)}def evaluate_ai_model(model, checklist, requester, approver):request_id = model.request_id or f"req-{datetime.now().strftime('%Y%m%d%H%M%S')}"audit = {"audit_id": f"audit-{request_id}","request_id": request_id,"model_id": model.model_id,"model_name": model.name,"business_domain": model.business_domain,"requested_by": requester,"evaluated_by": approver,"evaluated_at": datetime.now().isoformat(),"status": "processing","risk_level": None,"approval_no": None,"decision": "pending",}write_audit_log(audit)try:result = run_checklist(model, assess_risk_level(model, checklist), checklist)audit["risk_level"] = result["risk"]audit["checks"] = [{"item": item.item_name,"passed": item.passed,"message": item.message,}for item in result["items"]]if not result["approved"]:audit["decision"] = "rejected"audit["rejection_reasons"] = [item.message for item in result["items"] if not item.passed]audit["status"] = "completed"write_audit_log(audit)create_remediation_task(request_id,audit["rejection_reasons"],owner=requester,)return {"approved": False,"rejection_reasons": audit["rejection_reasons"],"audit_id": audit["audit_id"],}audit["approval_no"] = f"approval-{request_id}"audit["decision"] = "approved"audit["status"] = "completed"write_audit_log(audit)return {"approved": True,"approval_no": audit["approval_no"],"risk_level": result["risk"],"audit_id": audit["audit_id"],}except Exception as exc:audit["status"] = "failed"audit["decision"] = "failed"audit["error"] = str(exc)write_audit_log(audit)return {"approved": False,"rejection_reasons": ["评估流程异常,需转人工复核"],"audit_id": audit["audit_id"],}
模型上线后,接入审批只能保证“起点合规”,运行期行为同样可能产生风险,例如数据越权访问、模型输出异常、接口被滥用、日志缺失、人工复核未执行等。企业应持续监控运行状态,并保留必要审计证据。
建议监控指标至少包括以下内容:
| 监控指标 | 说明 | 建议初始关注点 |
|---|---|---|
| 越权访问次数 | 是否存在无权限调用、异常账号调用、超范围访问 | 高风险模型应实时告警 |
| 异常输出率 | 输出结果中违规、错误、敏感信息泄露或明显不合理的比例 | 按模型和业务场景设定 |
| 日志缺失率 | 应记录日志但未完整留存的比例 | 缺失即视为审计风险 |
| 告警闭环时长 | 从告警产生到处理完成的时间 | 高风险事件应设置短时限 |
| 人工复核比例 | 高风险场景下由人工确认输出的比例 | 高风险场景应保持足够比例 |
| 数据调用频率 | 是否存在异常调用、批量导出、非常规时间调用 | 结合基线和权限控制 |
| 模型版本一致性 | 线上调用是否使用经批准版本 | 防止未审批版本上线 |
监控不能只记录不分析。企业应明确告警级别、责任人、处置时限、升级机制和复核记录。对于高风险模型,应建立人工复核、灰度和回滚机制;对于低风险模型,可采用低频抽检和定期复核,避免过度治理。
很多治理框架只关注上线,却忽略下线。模型停用后,如果历史数据、训练数据、日志、缓存、备份副本没有被规范处置,会形成长期合规风险。企业应预先制定退役策略,而不是等模型停止后再临时处理。
退役执行清单应至少覆盖以下事项:
| 处置项 | 要求 |
|---|---|
| 数据归档范围 | 明确归档的数据类型、字段、时间范围、存储位置、归档期限 |
| 脱敏方式 | 对个人信息、商业敏感信息、模型输出中的敏感内容进行脱敏或最小化 |
| 删除验证 | 删除主存储、缓存、日志、临时文件中的数据,并验证不可恢复 |
| 备份副本处置 | 说明备份、灾备、镜像、快照中数据是否同步删除或隔离归档 |
| 保留审批 | 如法律、审计或合同要求保留,应说明保留依据、范围、期限和访问权限 |
| 审计记录 | 保留退役申请、审批、执行记录、删除证据、责任人、复核人和完成时间 |
退役流程建议包括:触发退役、停止访问、资产盘点、数据分级、制定处置计划、执行脱敏/删除、备份副本处置、复核验证、审批归档、关闭台账状态。对于涉及个人信息或敏感数据的模型,退役处置应形成可审计证据。
治理流程如果依赖人工传递,容易出现遗漏、延迟和责任不清。企业应将评估、审批、监控、整改、退役等环节统一到同一流程线上,实现“系统自动记录—后续提醒—状态追踪—统计报表”的自动化闭环。
自动化流程应至少支持:
统计报表应使用可追溯的数据来源,避免仅依赖人工填报。若企业后续希望量化治理收益,例如统计节省工时或减少风险事件,应明确统计口径、样本范围、计算方式和前提条件,避免出现无法核验的结论。
治理框架需要可配置,但不存在放之四海皆准的默认值。企业应根据自身业务风险、数据敏感度、监管要求和运维能力设定配置项。
主要配置维度包括:
同时需要明确合规边界:
治理框架是否生效,不能只靠文档是否存在,而应通过可量化验收。建议从流程完整性、拦截有效性、自动化能力和退役可执行性四个方面验证。
| 验收项 | 验证方法 | 通过标准 | 责任人 | 复核周期 |
|---|---|---|---|---|
| 台账完整性 | 随机抽查AI模型,核对台账字段 | 关键字段完整率100%,责任人明确 | 模型负责人 | 每月或每季 |
| 接入评估有效性 | 构造缺少证据或高风险的申请 | 系统能正确分级、拦截并说明原因 | 合规负责人 | 上线前及每季度 |
| 审批留痕 | 抽查审批单和审计日志 | 审批人、时间、结论、证据链接可追溯 | 审计/内控 | 每月 |
| 运行监控有效性 | 抽查告警、处置和人工复核记录 | 告警有记录、有责任人、有闭环结果 | 安全运维 | 每月 |
| 退役处置 | 抽查已退役模型 | 归档、脱敏、删除、备份处置均有证据 | 数据合规/运维 | 每半年 |
| 自动化贯通 | 检查记录、提醒、追踪、报表链路 | 报表数据与流程记录一致 | 平台管理员 | 每季度 |
问:第三方AI服务无法提供完整安全材料怎么办?
答:应在采购阶段就把安全审查、数据处理条款、审计配合义务和事件通知义务写入合同或准入条件。若上线前才发现材料不足,应暂缓接入,并设置整改期限。
问:模型退役后数据还要不要保留?
答:应依据法律、合同、审计和业务需要判断。若需保留,应明确保留范围、期限、权限和审计审批;若无需保留,应执行删除、脱敏或归档,并验证删除效果。
问:审计日志应留存多久?
答:应根据适用法律、行业监管、合同和企业制度确定。至少应保证能够追溯关键审批、运行监控、异常处置和退役删除过程,并防止日志被随意修改。
问:业务部门绕过统一流程怎么办?
答:应将治理流程设为模型上线、采购付款、权限开通或对外发布的必经节点,而不是可选步骤。同时通过台账、系统权限和定期审计发现绕行行为。
问:低风险模型是否也要管理?
答:需要管理,但可以采用简化流程。低风险不等于无风险,仍应具备基本责任人、数据说明、用途说明和异常处理机制。
企业负责任AI治理框架的关键,是把“谁负责、怎么用、如何监控、如何退出”变成制度化流程。建议以AI资产台账为起点,通过风险分级和接入评估把控合规闸门,通过运行监控和审计保障安全,通过退役处置闭环数据风险,再通过跨部门协同与自动化追踪提升可执行性。只有将治理要求嵌入每个业务节点,并保留可验证的审批、监控和处置证据,企业才能把负责任AI从原则转化为可持续运行的治理能力。