GTC 2026 Automotive Special Address

类别: 汽车 Special Address · 年份: 2026 · ▶ 观看

Switch language → English

章节 (11)

  • 00:00 · 介绍与愿景
    • Xinzhou Wu 介绍了 AI 的快速进展以及实现 L4 级自动驾驶的挑战。
  • 03:18 · Alpamayo 推理演示
    • 一段视频演示了 Alpamayo 推理模型在旧金山驱动 Mercedes 原型车。
  • 07:04 · 物理 AI 时代
    • 讨论 AI 向物理 AI 的演进以及自动驾驶汽车的巨大市场机遇。
  • 09:55 · NVIDIA DRIVE 全栈
    • 概述 NVIDIA DRIVE 平台，包括基础设施、应用程序、模型、操作系统和硬件。
  • 12:28 · DRIVE Hyperion 与 Thor
    • 详细介绍 DRIVE Hyperion 参考架构和 DRIVE AGX Thor 车载超级计算机。
  • 16:08 · Halos OS
    • 介绍 Halos OS，这是一个用于 L4 级自动驾驶的统一软件安全基础。
  • 18:55 · 发布 Alpamayo 1.5
    • 发布用于自动驾驶汽车的开源推理 VLA 模型的新版本。
  • 21:30 · 训练与仿真
    • NVIDIA 如何使用海量数据集、Cosmos 和 Omniverse NuRec 来训练和仿真自动驾驶模型。
  • 25:20 · Omniverse NuRec 与 Cosmos Transfer
    • 展示用于神经重建和环境转换的工具，以生成合成训练数据。
  • 29:14 · DRIVE AV 软件栈与路线图
    • 解释混合端到端与经典软件栈，以及通往 L4 级完全自动驾驶的路线图。
  • 39:04 · 生态系统与合作伙伴
    • 宣布新的 OEM 采用情况，以及与 Uber 在全球范围内推出 L4 级 Robotaxi 的合作伙伴关系。

产品发布 (2)

  • [18:55] NVIDIA Alpamayo 1.5
    • 全球首个用于自动驾驶汽车的开源推理 VLA 模型，包含由开发者驱动的全新升级。
    • specs: 100亿参数，路线规划能力（航点/导航引导），文本提示，多摄像头配置。
    • availability: 宣布即将发布。
  • [25:20] NVIDIA Omniverse NuRec
    • 一个用于从真实世界数据大规模生成 3D 仿真的工具。
    • specs: 神经重建，对象插入（Fixer/Harvester）。
    • availability: 未来几周内全面开放。

数据 (9)

时间 指标 数值 背景
09:11 全球汽车年行驶里程 13万亿 全球所有细分市场的总行驶里程。
09:29 自动驾驶无里程占比 0.006% 目前自动驾驶里程占全球总行驶里程的百分比。
13:40 计算性能 高达 2000 FP4 TFLOPS DRIVE AGX Thor 超级计算机的性能。
19:14 模型大小 100亿参数 Alpamayo 1.0 和 1.5 模型的大小。
19:39 下载量 >160,000 Alpamayo 1.0 在 Hugging Face 上的下载次数。
21:41 训练数据 80,000小时 用于训练 Alpamayo 模型的自动驾驶数据量。
22:08 训练数据 2000万小时 用于训练 Cosmos World Foundation 模型的真实世界视频量。
24:33 开源自动驾驶数据集 7,000小时 开源物理 AI 数据集的大小。
26:28 仿真规模 200万+ 每天基于 NuRec 运行的仿真测试数量。

Benchmark 主张 (3)

  • [13:40] LLAMA-7B context: 快9倍
    • vs: Orin (预估)
    • gain: 显著加速车载大型语言模型推理。
  • [13:40] SPECrate 2017_int_base: 2.3倍性能
    • vs: Orin (预估)
    • gain: 提升了高单线程 CPU 性能，用于实时车辆控制。
  • [18:55] LingoQA: 第一
    • vs: 其他自动驾驶推理模型
    • gain: 在自动驾驶推理能力方面排名第一。

客户故事 (3)

  • [03:18] Mercedes-Benz
    • 将 Alpamayo 推理模型集成到原型车中，在旧金山进行测试。
    • outcome: 展示了实时推理、解说以及对复杂城市驾驶场景的安全处理。
  • [13:21] Uber
    • 与 NVIDIA 合作，使用 Hyperion 10 传感器套件组建车队进行数据收集。
    • outcome: 推动行业发展，并计划在 2028 年全球推出 L4 级 Robotaxi。
  • [39:04] BYD, Geely, Nissan, Hyundai
    • 为其 L4 级自动驾驶汽车采用了 NVIDIA DRIVE Hyperion 平台。
    • outcome: 扩大了使用 NVIDIA 统一传感器和计算架构的 OEM 生态系统。

关键技术 (6)

  • DRIVE Hyperion: 一个统一的车辆参考架构，为 L4 级自动驾驶提供通用的传感器套件和计算平台。
  • DRIVE AGX Thor: 一款基于 Blackwell 架构的车载 AI 超级计算机，为下一代计算提供动力。
  • Halos OS: 一个统一的软件安全基础和操作系统，在模型与硬件之间进行交互。
  • Alpamayo: 一个用于自动驾驶汽车的开源推理视觉-语言-动作 (VLA) 模型。
  • Omniverse NuRec: 使用神经重建从真实世界数据生成 3D 仿真。
  • Cosmos Transfer: 一个基础模型平台，能够将序列渲染成不同的环境、天气和光照条件。

现场演示 (4)

  • [03:18] 一辆 Mercedes 原型车在旧金山自动驾驶，同时 Alpamayo 模型解说其推理过程并响应语音提示。
    • True
  • [25:44] Omniverse NuRec 基于真实世界数据，从不同的相机姿态重建像素和场景。
    • True
  • [27:48] Fixer 和 Harvester 工具将滑板车和锥桶等物体插入重建场景中以修改轨迹。
    • True
  • [28:50] Cosmos Transfer 改变驾驶序列的天气、光照和一天中的时间。
    • True

预测 / 承诺 (4)

  • [08:26, 未来十年] 构建并安全部署物理 AI 将是未来十年的决定性挑战。
  • [09:36, 不久的将来] 在不久的将来，每一英里、每一个移动的物体都将实现自动化。
  • [29:14, 2026] 推出 L2++ 点到点（Address to Address）能力。
  • [39:53, 2028] 与 Uber 合作在全球推出 L4 级 Robotaxi。

公司提及 (8)

Mercedes-Benz · Uber · Lucid · JLR · BYD · Geely · Nissan · Hyundai

引用 (3)

We believe that building and safely deploying physical AI is going to be the defining challenge of the coming decade. — Xinzhou Wu @ 08:26

We do believe that in the near future, every mile, everything that moves will become autonomous. — Xinzhou Wu @ 09:36

We are eating our own dog food. And I am very confident about the quality of this tool. — Xinzhou Wu @ 26:38

主题

自动驾驶汽车 · L4级自动驾驶 · 物理AI · 视觉-语言-动作 (VLA) 模型 · 仿真 · 神经重建 · AI超级计算机 · Robotaxi · 生成式AI · 汽车生态系统 · 软件定义汽车 · 合成数据

要点

  • NVIDIA 正在转向为 L4 级自动驾驶提供全面的全栈解决方案，涵盖硬件、操作系统、模型和基础设施。
  • 最新发布的 Alpamayo 1.5 是一款先进的开源推理 VLA 模型，为自动驾驶汽车带来了类似人类的决策和解说能力。
  • 扩展自动驾驶训练需要海量数据，NVIDIA 正在通过 Omniverse NuRec 和 Cosmos Transfer 等仿真工具来解决这一问题。
  • 安全部署 L4 级自动驾驶需要一种混合软件栈，将端到端 AI 模型的能力与严格的经典安全护栏相结合。
  • NVIDIA 的 DRIVE Hyperion 平台正获得广泛采用，BYD、Geely 和 Nissan 等主要 OEM，以及计划在 2028 年推出 Robotaxi 的 Uber，都已承诺使用该架构。