简介:本文对比自动驾驶中的大规模预训练与后训练闭环两条技术路线,围绕数据来源、失败样本发现、仿真交互、策略更新、安全约束和工程成本展开分析,帮助技术读者理解二者差异、适用场景与选型注意事项。
自动驾驶系统的能力构建,正在从“依靠大规模真实数据完成基础驾驶能力学习”,逐步转向“在基础能力之上,通过失败发现、仿真交互和策略修正持续提升安全边界”的阶段。早期行业普遍关注的是如何让模型学会常规驾驶行为,例如车道保持、跟车、变道、路口通行等;但随着量产车辆和复杂道路数据不断增加,业界逐渐意识到,普通场景数据增长很快,真正影响安全边界的长尾风险场景却天然稀缺。因此,本文不讨论具体厂商方案,而是从技术路线角度,对比两类自动驾驶能力构建方式:大规模预训练与后训练闭环。
传统自动驾驶研发通常依赖真实道路采集数据,对感知、预测、规划和控制模块进行联合训练或分阶段训练。这类方法的优势在于数据贴近真实世界,模型能够从大量人类驾驶行为中学习常见驾驶模式。然而,真实道路数据存在一个结构性矛盾:绝大多数驾驶过程是常规、平稳、重复的,而真正高风险、低概率、高后果的场景却很少被采集到。例如极端天气下的突发切入、复杂施工区域的遮挡与混行、罕见交通参与者行为、连续退化传感器条件下的决策等。
这类场景如果仅依赖被动采集,会导致模型学习不足;如果只靠规则兜底,又难以覆盖复杂交互。因此,后训练闭环成为自动驾驶进一步演进的重要方向。后训练并不是简单继续训练,而是围绕“模型已经具备基础驾驶能力之后,如何发现并修正安全边界”展开的一套系统性方法。它通常包括失败样本挖掘、场景重建、交互式仿真、策略更新、回归验证等环节。
本文的对比重点是:自动驾驶基础能力构建中,“预训练路线”和“后训练闭环路线”有什么区别,各自适合什么场景,以及技术团队应该如何选择或组合使用。
大规模预训练路线,是指在自动驾驶模型研发早期,利用大量真实驾驶数据训练基础模型。这类路线常见于端到端模型、感知预测规划联合模型,或模块化系统中的多个深度学习组件。
其核心目标,是让模型从历史驾驶数据中学习通用驾驶能力,包括道路理解、障碍物识别、轨迹预测、行为规划和运动控制等。预训练通常强调数据规模、数据多样性和模型泛化能力。换句话说,它解决的是“模型是否知道日常应该怎么开”的问题。
后训练闭环路线,是在基础模型已经具备一定驾驶能力之后,通过主动发现失败场景、构建可交互世界、生成更多安全关键样本,并利用强化学习、奖励反馈、约束优化等方式持续修正策略。
它解决的核心问题不是“模型会不会开”,而是“模型在关键风险下为什么这样开更好,以及如何避免危险决策”。后训练强调闭环反馈:模型先做出决策,环境或世界模型给出反馈,训练系统根据反馈更新策略,再重新评估失败模式是否被修正。
简言之,预训练更像是在建立基础能力,后训练闭环更像是在逼近安全边界。
虽然两条路线侧重点不同,但它们并非完全对立,反而共享多个基础前提。
第一,二者都需要数据驱动。预训练依赖大规模真实驾驶数据,后训练也依赖场景数据、失败数据、仿真数据和交互采样数据。区别只在于数据来源是被动采集还是主动生成。
第二,二者都服务于自动驾驶策略优化。无论预训练还是后训练,最终目标都是提升模型在复杂道路环境中的决策质量,减少错误行为,提高安全性与舒适性。
第三,二者都需要评估体系支撑。预训练需要评估基础能力,例如检测准确率、轨迹拟合程度、规划合理性等;后训练则需要评估安全关键场景表现,例如风险场景通过率、接管频率、冲突规避能力等。
第四,二者可以组合使用。成熟自动驾驶系统通常不会只做预训练,也不会只做后训练,而是采用“预训练打基础,后训练补长尾”的组合模式。
预训练的数据来源通常是车队回传日志、路测采集数据、标注数据和人工驾驶示范数据。这些数据覆盖范围广,但分布高度不均。普通城市道路、常规巡航、稳定跟车等场景占绝大多数,而高风险长尾场景占比较低。
后训练闭环则强调主动发现失败样本。它不是等待真实世界碰巧出现危险场景,而是通过回放分析、离线评估、冲突检测、模型不确定性分析等方式,找到基础策略已经出现或接近出现风险的场景,再将这些场景转化为可训练样本。
这种差异非常关键。预训练面对的是“历史数据长什么样”,后训练面对的是“当前模型在哪里不够好”。
预训练阶段常见方式是模仿学习、监督学习或弱监督学习。模型学习人类驾驶示范,尽量拟合历史轨迹、速度、转向等行为。其优点是容易规模化,缺点是学习信号主要来自“过去开得怎么样”,而不是“当前决策在当前环境下是否安全”。
后训练则更强调反馈信号。例如强化学习会根据决策结果给予奖励或惩罚,世界模型可以预测不同动作带来的未来状态变化,安全约束可以对危险行为进行抑制。这样的反馈机制使模型能够理解“为什么某种行为更优”,而不仅仅是复制已有轨迹。
因此,预训练更偏向模式学习,后训练更偏向目标优化和风险修正。
后训练闭环中,仿真环节非常关键。传统仿真常常表现为日志回放:将真实场景按照历史轨迹重放,让模型在固定条件下进行推理。日志回放的优势是场景真实、构建成本低,但局限也很明显:环境通常是固定的,其他交通参与者行为不会因主车策略改变而动态响应。
可交互世界则更接近动态仿真。它允许重建场景,并支持重新采样、分支生成、行为参数调整和闭环交互。例如,让前车以不同速度切入,让行人在不同位置出现,让传感器在不同天气条件下退化。这种仿真更适合训练模型在多种风险条件下做决策。
简言之,日志回放适合验证“是否复现了当时结果”,可交互世界适合训练“如果情况不同,模型应该如何应对”。
预训练通常需要较大规模的数据和算力,模型更新范围较广。它的目标是形成通用表征和通用驾驶能力。后训练则更倾向于局部修正,尤其是针对已识别的失败模式进行策略优化。
后训练常涉及强化学习、约束优化、偏好对齐或安全奖励建模。它需要谨慎控制更新幅度,避免模型在长尾场景变强的同时,遗忘普通驾驶能力。因此,后训练通常需要回归测试集,覆盖常规驾驶能力、安全关键场景和边界行为。
这也是为什么后训练不是简单“再多训几轮”,而是一套受约束的策略修正流程。
预训练更关注模型是否具备广泛场景适应能力。它衡量的是整体驾驶能力是否达标,例如日常通行是否流畅、轨迹是否自然、感知是否稳定。
后训练更关注风险边界是否被压缩。它衡量的往往是长尾安全表现,例如危险场景中的碰撞风险、接管频率、极限交互下的稳定性等。有行业方案在闭环评估中,通过失败样本驱动和安全约束训练,可以显著降低高风险场景下的碰撞概率,并减少长距离测试中的人工接管。这说明后训练的价值,不在于替代预训练,而在于补足预训练难以覆盖的安全缺口。
预训练工程重点是数据治理、存储、训练调度、模型评估和版本管理。它更依赖大规模数据流水线和训练基础设施。
后训练闭环除了这些之外,还需要更强的能力:失败样本自动发现、场景重建、交互仿真、奖励函数设计、安全约束注入、策略回归验证等。后训练对工程链路的要求更高,因为它不仅是训练任务,更是“发现—重建—生成—训练—评估—再发现”的循环系统。
从研发角度看,预训练更像基础能力建设,后训练更像持续优化系统。
| 对比维度 | 大规模预训练路线 | 后训练闭环路线 | 选型关注点 |
|---|---|---|---|
| 核心目标 | 建立通用驾驶能力 | 修正安全边界,优化风险决策 | 是补基础能力,还是补长尾能力 |
| 数据来源 | 真实道路日志、标注数据、示范数据 | 失败样本、合成场景、交互采样数据 | 是否有足够真实数据基础 |
| 样本分布 | 常规场景多,长尾稀缺 | 主动聚焦高风险场景 | 是否能发现高价值失败样本 |
| 学习信号 | 模仿学习、监督学习为主 | 反馈、奖励、约束优化为主 | 是否能设计有效安全与效率目标 |
| 仿真方式 | 多以回放或固定场景为主 | 强调可交互、可重采样、可分支 | 是否需要动态世界模型 |
| 更新范围 | 大规模参数更新 | 局部策略修正与受约束优化 | 是否需要控制遗忘风险 |
| 安全能力 | 提升通用安全性 | 重点压缩高风险边界 | 是否面对长尾安全压力 |
| 工程成本 | 数据规模与训练算力成本高 | 世界构建、评估与闭环调度复杂 | 是否具备仿真与评测能力 |
| 主要风险 | 长尾覆盖不足 | 奖励设计不当、策略遗忘、仿真偏差 | 是否有回归测试与安全门槛 |
| 适用阶段 | 研发早期、基础模型建设 | 基础模型成熟后的持续优化 | 是否已有稳定基础模型 |
如果团队刚刚开始建设自动驾驶基础模型,首要目标是建立感知、预测、规划和控制的基础能力,那么预训练仍是主要路线。尤其是在数据积累较充分、常规驾驶场景覆盖较广、团队需要快速形成基础模型闭环时,大规模预训练能够提供更稳定的能力底座。
此外,如果当前瓶颈是模型连常见道路场景都无法稳定处理,那么应优先完善预训练数据体系和基础训练流程,而不是过早进入复杂后训练阶段。
当基础模型已经能够处理大部分常规场景,但长尾风险、接管率、复杂交互决策仍是瓶颈时,后训练闭环更值得投入。例如,模型在高速切入、路口博弈、施工区域混行、退化感知条件下表现不稳定,这时就需要通过失败样本发现、场景重建和交互训练进行针对性优化。
后训练闭环尤其适合安全要求较高的场景,因为其核心价值不是简单提升平均表现,而是压缩高风险边界。
在成熟自动驾驶研发体系中,预训练和后训练闭环通常不是二选一,而是组合使用。预训练负责形成基础驾驶能力,后训练负责持续发现失败模式并修正策略。实际工程中可以形成如下循环:
预训练基础模型↓路测与仿真评估↓失败样本挖掘↓场景重建与交互生成↓后训练策略优化↓回归测试与安全验收↓再次路测与失败挖掘
这种组合方式更适合量产前验证和持续迭代场景。
第一,如果团队当前缺少高质量基础模型,应优先建设预训练能力。没有稳定基础模型,后训练闭环容易建立在脆弱能力之上,导致优化方向不稳定。
第二,如果基础模型已经能完成多数常规驾驶任务,但安全关键场景表现不稳定,应重点建设后训练闭环。此时的关键不是继续堆积普通数据,而是提高失败样本发现效率和风险场景训练质量。
第三,如果仿真能力较弱,只能做简单日志回放,不建议过早宣称具备完整后训练闭环。后训练闭环依赖可交互、可重采样、可评估的世界构建能力,否则训练反馈可能失真。
第四,如果团队工程资源有限,可以先采用“轻量后训练”方式,例如离线失败样本筛选、固定场景微调、保守约束优化,再逐步引入交互式世界和强化学习闭环。
第五,如果安全要求较高,后训练必须配套严格回归测试。否则可能出现局部能力提升但整体驾驶行为退化的问题,例如变道更积极但舒适度下降,或者路口通行更高效但安全距离不足。
如果从传统预训练研发转向后训练闭环,需要重点关注以下事项。
后训练虽然更强调失败样本和合成数据,但真实数据仍是基础。需要建立清晰的数据分层机制,区分常规数据、边缘数据、失败样本、人工标注样本和仿真生成样本。不同数据应有不同的权重、版本和评估方式。
后训练依赖仿真反馈,因此仿真偏差可能直接误导策略优化。需要评估场景几何真实性、交通参与者行为合理性、传感器噪声模拟、时序一致性等指标。如果仿真环境与真实世界差异过大,后训练结果可能无法迁移。
强化学习容易受到奖励设计影响。如果奖励只看通行效率,模型可能变得激进;如果奖励只看保守安全,模型可能过度犹豫。因此需要引入安全约束、舒适性约束、交通法规约束和可解释性约束。
后训练通常聚焦特定失败场景,但驾驶系统必须保持整体稳定。应建立回归测试集,覆盖常规道路、典型交互、边界场景和长尾场景。每次策略更新后,都要确认通用驾驶能力没有明显下降。
后训练闭环涉及多阶段流水线,建议采用通用云架构思想进行建设。例如使用对象存储保存数据与模型版本,使用消息队列负责任务调度,使用容器平台运行训练和仿真任务,使用日志服务和监控告警跟踪训练与评估状态,使用数据库记录样本元数据与评测结果。同时,身份认证、权限控制和数据隔离也是保障研发安全的重要环节。
后训练闭环不是一次性任务,而是长期运行的系统。除了训练算力成本,还需要考虑场景重建成本、人工审核成本、仿真评测成本、存储成本和运维成本。团队需要根据业务阶段分阶段投入,避免一开始建设过重但收益不足。
自动驾驶预训练与后训练闭环并不是互相替代关系,而是能力构建链条上的两个关键阶段。预训练解决的是“模型是否具备基础驾驶能力”,依赖大规模真实数据和通用场景覆盖;后训练闭环解决的是“模型是否能在安全关键场景中保持稳定与正确”,依赖失败样本挖掘、交互式仿真、反馈优化和受约束策略更新。
对于技术选型而言,可以概括为:如果基础能力尚未建立,应优先完善预训练;如果基础能力已具备但长尾风险突出,应重点建设后训练闭环;如果追求长期安全收敛,则需要将二者组合成持续迭代闭环。
真正决定自动驾驶安全上限的,往往不是单一模型的规模,而是系统是否能够持续发现自身边界、理解失败原因,并在可控环境中完成修正。预训练提供基础能力,后训练闭环推动能力向安全边界收敛,二者结合才是更稳健的技术路线。