Hotdry.
ai-systems

用世界模型重塑自动驾驶安全边界:Waymo 的仿真、合成与闭环验证

深度解析 Waymo 如何利用基础模型与 Genie 3 仿真技术,通过场景合成与物理模拟应对极端长尾场景,构建可验证安全的自动驾驶系统。

自动驾驶是人工智能在物理世界中面临的终极挑战。与其他仅追求能力的 AI 应用不同,自动驾驶必须将安全作为工程化的基石,而非事后补丁。Waymo 通过构建一个由基础模型(Foundation Model)驱动的闭环 AI 生态系统,实现了 “可验证安全”(Demonstrably Safe AI)的目标。这一系统的核心在于利用先进的仿真与场景合成技术,将现实世界的极端长尾场景(Long-tail Scenarios)转化为可量化、可重复的测试环境,从而在部署前消除潜在风险。

Waymo 的安全策略并非单一模型的堆砌,而是一个由 Driver(驾驶员模型)、Simulator(仿真器)和 Critic(评判模型)构成的紧密闭环。基础模型作为 “教师”(Teacher Model),首先被训练用于生成高质量的驾驶行为、仿真环境和评估信号。然而,直接在车端运行庞大的教师模型既不现实也不经济,因此 Waymo 采用知识蒸馏(Distillation)技术,将教师模型的丰富知识迁移到更小、更高效的 “学生”(Student Model)模型中。这些学生模型被部署在车辆上用于实时推理,或在云端大规模运行仿真测试。这种 “教师 - 学生” 范式,使得 Waymo 能够在不牺牲性能的前提下,实现大规模的安全验证。

双重架构与场景合成的技术内核

Waymo 基础模型采用了独特的 “Think Fast and Think Slow”(快思考与慢思考)双重架构,这一设计借鉴了认知科学的系统理论。系统一由传感器融合编码器(Sensor Fusion Encoder)实现,负责处理摄像头、激光雷达和毫米波雷达的输入,实时融合感知信息,生成物体列表、语义属性和丰富的嵌入向量,用于快速、安全的驾驶决策。这种机制确保了车辆对突发障碍物能做出毫秒级的反应。

系统二则是驾驶视觉语言模型(Driving VLM),它基于 Gemini 框架微调,利用其庞大的世界知识来处理罕见、新颖且复杂的语义场景。例如,当车辆前方出现罕见的车辆起火状况时,虽然物理空间和可行驶车道可能畅通,但 VLM 能够提供语义信号,提示 Waymo Driver 改变路线或调头。这种深层语义理解能力,对于处理法律边界模糊或人类驾驶员也难以抉择的场景至关重要。

Waymo 的仿真系统利用了 Google DeepMind 开发的 Genie 3 模型,将世界构建能力推向了新的高度。Genie 3 的加入使得 Waymo 能够通过三种核心控制机制生成几乎无限的极端场景。第一是驾驶动作控制(Driving Action Control),允许开发者进行反事实推理("What if" scenarios),例如在不影响安全的前提下,模拟其他道路使用者的激进行为。第二是场景布局控制(Scene Layout Control),允许定制道路布局、交通信号灯相位以及行人行为模式。第三是语言控制(Language Control),这是最灵活的工具,开发者只需通过文本描述(如 “暴雨天气下的金门大桥” 或 “被洪水淹没的住宅区”),即可生成对应的传感器数据场景。Waymo 甚至能模拟出 “路上出现大象” 或 “建筑物火灾” 等在现实数据中几乎不可能采集到的场景,从而对系统进行极端压力测试。

从感知合成到安全闭环的工程实践

除了宏观的场景构建,Waymo 还在微观层面利用 SurfelGAN 等技术进行精细的传感器数据合成。SurfelGAN 使用纹理映射的表面元素(Surfels)从有限的激光雷达和摄像头数据中高效重建场景,保留丰富的三维几何信息和外观细节。这使得 Waymo 能够从一次或几次简单的车辆通行数据中,重构出高保真的虚拟环境,并根据需求生成不同视角和车辆位置的传感器数据。这种技术极大地扩展了训练数据集的多样性,尤其是在多车协同观察同一场景的任务中表现突出。

整个系统的安全保障依赖于一套严格的内外学习循环(Learning Flywheels)。内层循环由仿真器和评判模型驱动,利用强化学习在安全的虚拟环境中让 Driver 积累经验,并根据其行为给予奖励或惩罚。外层循环则直接汲取自 Waymo 在现实世界中积累的超过一亿英里的完全自动驾驶里程。评判模型会自动标记任何未达到最优标准的驾驶行为,生成改进后的替代行为作为训练数据。这些改进会先在仿真器中进行严格测试,由 Critic 验证其有效性。只有当安全框架确认不存在不合理的风险后,增强版的 Driver 才会被部署到现实世界中。这种 “现实数据 -> 仿真验证 -> 模型迭代 -> 现实部署” 的闭环,确保了系统的进化始终以安全为核心驱动力。

尽管 Waymo 的仿真能力已经达到了前所未有的高度,但 “模拟与现实之间的差距”(Sim-to-real Gap)仍然是该领域面临的根本挑战。即使是最逼真的仿真,也可能无法完全复现物理世界的所有细微差别、传感器噪声以及不可预测的人类行为。因此,Waymo 的策略是尽可能覆盖所有可想象的极端场景,将未知的风险转化为已知的、可验证的测试用例,以此无限逼近 “绝对安全” 的目标。通过将基础模型、Genie 3 场景合成与严格的闭环验证相结合,Waymo 正在为自动驾驶的大规模安全部署设定新的行业标杆。

资料来源

  • Waymo 官方博客:《Demonstrably Safe AI For Autonomous Driving》(2025 年 12 月)
  • The Verge:《What happens when Waymo runs into a tornado? Or an elephant?》(2026 年 2 月 6 日)
查看归档