GTC 2023 Keynote (Hopper / GPT-era inflection)

类别: 主 Keynote · 年份: 2023 · ▶ 观看

讲者: Jensen Huang - NVIDIA CEO · Milan Nedeljković - BMW AG Production 董事会成员

Switch language → English

章节 (15)

  • 00:00 · 简介与 AI 时代
    • Jensen Huang 探讨了摩尔定律的终结以及加速计算和 AI 的崛起。
  • 04:40 · 我是 AI
    • 一段视频蒙太奇，展示了 AI 在不同行业的各种应用。
  • 07:47 · 加速计算与 AI 里程碑
    • 回顾从 AlexNet 到 ChatGPT 的 AI 突破历史。
  • 10:10 · 加速库与量子计算
    • 用于 CFD 的 CUDA 库和用于量子模拟的 cuQuantum 平台的最新进展。
  • 14:05 · 数据处理与优化
    • 介绍 Spark RAPIDS、用于向量数据库的 RAFT 以及用于物流的 cuOpt。
  • 17:53 · AI 推理
    • 重点介绍 TensorRT、Triton 以及用于计算机视觉和视频处理的新库。
  • 20:30 · 医疗保健与基因组学
    • Parabricks 在基因组学方面的进展以及 Clara Holoscan 在医疗设备方面的进展。
  • 22:30 · 计算光刻
    • 推出 cuLitho，与 TSMC、ASML 和 Synopsys 合作加速半导体制造。
  • 26:43 · Grace CPU 与 BlueField-3
    • 详细介绍用于 AI 工作负载的 Grace CPU Superchip 和 BlueField-3 DPU。
  • 31:40 · DGX H100 与 DGX Cloud
    • 发布 DGX H100 AI 超级计算机和全新的 DGX Cloud 服务。
  • 35:30 · 生成式 AI 与 AI Foundations
    • 介绍用于构建自定义生成式 AI 模型的 NeMo、Picasso 和 BioNeMo 云服务。
  • 50:00 · 全新推理平台
    • 推出 L4、L40、H100 NVL 和 Grace-Hopper 平台，以应对多样化的 AI 推理工作负载。
  • 53:30 · Omniverse 与工业数字化
    • 展示 Omniverse 作为构建数字孪生和实现工厂自动化的平台。
  • 01:06:00 · BMW 虚拟工厂演示
    • BMW 演示使用 Omniverse 规划和运营虚拟电动汽车工厂。
  • 01:11:15 · Azure 上的 Omniverse Cloud 与结语
    • 宣布在 Microsoft Azure 上托管 Omniverse Cloud 并致闭幕词。

产品发布 (10)

  • [13:43] Quantum Control Link
    • 连接 NVIDIA GPU 与量子计算机以进行纠错的链路。
    • specs: 与 Quantum Machines 合作开发，用于高速纠错。
    • availability: N/A
  • [15:04] RAFT
    • 用于在向量数据库中索引和检索数据的加速库。
    • specs: 已集成到 Meta 的 FAISS、Milvus 和 Redis 中。
    • availability: 开源
  • [21:21] Parabricks 4.1
    • 一套用于基因组学分析的 AI 加速库。
    • specs: 可在公有云和基因组学平台中使用。
    • availability: 现已可用
  • [25:21] cuLitho
    • 用于计算光刻的库。
    • specs: 将流程加速 40 倍以上，降低功耗和服务器需求。
    • availability: 6月起进行生产验证
  • [31:24] BlueField-3 DPU
    • 用于卸载基础设施软件的数据处理单元 (DPU)。
    • specs: 已被主要云服务提供商采用。
    • availability: 已投产
  • [34:18] NVIDIA DGX Cloud
    • 通过 Web 浏览器访问的 AI 超级计算服务。
    • specs: 托管在 Azure、GCP 和 OCI 上；包含 NVIDIA AI Enterprise 软件。
    • availability: 即将推出
  • [39:52] NVIDIA AI Foundations
    • 用于构建自定义生成式 AI 模型的云服务 (NeMo、Picasso、BioNeMo)。
    • specs: 允许企业使用专有数据在安全护栏内训练模型。
    • availability: 现已可用/抢先体验
  • [51:05] New Inference Platforms
    • L4、L40、H100 NVL 和 Grace-Hopper 硬件平台。
    • specs: 分别针对视频、图形、LLM 和推荐系统进行了优化。
    • availability: N/A
  • [01:10:07] Omniverse Workstations and OVX Servers
    • 针对运行 NVIDIA Omniverse 优化的硬件。
    • specs: 由 Ada RTX GPU 和 BlueField-3 提供支持。
    • availability: 3月起
  • [01:11:11] NVIDIA Omniverse Cloud on Microsoft Azure
    • 完全托管的 Omniverse 云服务。
    • specs: 连接到 Microsoft 365 生产力套件。
    • availability: N/A

数据 (12)

时间 指标 数值 背景
01:52 开发者 400万 全球 NVIDIA 生态系统中的开发者数量。
09:03 FLOPS 26.2亿亿 训练 AlexNet 所需的浮点运算次数。
09:36 FLOPS 323 zettaflops 训练 GPT-3 所需的浮点运算次数。
11:58 吞吐量 9倍 在 CFD 方面，A100 相比 CPU 服务器的吞吐量提升。
16:16 每秒移动次数 300亿 cuOpt 在解决旅行商问题时每秒分析的移动次数。
25:38 加速比 40倍 使用 cuLitho 对计算光刻的加速。
26:14 服务器数量 500 TSMC 替换 40,000 台 CPU 服务器所需的 DGX H100 系统数量。
28:20 核心数 72 单个 Grace CPU 中的 Arm 核心数量。
36:24 用户数 1亿 ChatGPT 在短短几个月内达到的用户数量。
53:18 性能 10倍 在 Omniverse 和图形处理方面，L40 相比 T4 的性能。
56:18 性能 10倍 在 GPT-3 175B 推理方面，H100 NVL 相比 HGX A100 的性能。
57:08 带宽 7倍 Grace-Hopper 相比 PCIe 的数据传输速度。

Benchmark 主张 (8)

  • [11:58] High-fidelity CFD (Cadence): 吞吐量提升 9 倍，能耗降低 17 倍
    • vs: CPU 服务器
    • gain: 为流体动力学模拟节省了大量成本和能源。
  • [25:38] Computational Lithography: 加速 40 倍
    • vs: 基于 CPU 的处理
    • gain: 将处理时间从几周缩短到几小时。
  • [29:45] Microservices: 快 1.3 倍
    • vs: 下一代 x86 CPU
    • gain: 为云微服务提供更高的性能。
  • [29:54] Data Processing: 快 1.2 倍
    • vs: 下一代 x86 CPU
    • gain: 为大数据工作负载提供更高的性能。
  • [30:00] Energy Efficiency: 效率提升 1.7 倍
    • vs: 下一代 x86 CPU
    • gain: 在数据中心层面显著节省功耗。
  • [53:18] Omniverse and Graphics: 性能提升 10 倍
    • vs: NVIDIA T4
    • gain: 渲染和模拟能力的大幅飞跃。
  • [56:18] LLM Inference (GPT-3 175B): 快 10 倍
    • vs: HGX A100
    • gain: 大幅降低大型语言模型的处理成本。
  • [57:08] CPU-GPU Bandwidth: 快 7 倍
    • vs: PCIe
    • gain: 消除海量数据传输的瓶颈。

客户故事 (8)

  • [16:26] AT&T
    • 使用 cuOpt 为 30,000 名技术人员优化调度路线。
    • outcome: 寻找解决方案的速度提高了 100 倍，实现了实时调度更新。
  • [18:23] Uber
    • 使用 Triton 推理服务器进行 ETA 预测。
    • outcome: 每秒提供数十万次预测。
  • [19:49] Tencent
    • 使用 CV-CUDA 和 VPF 进行视频处理。
    • outcome: 每天处理 300,000 个视频。
  • [22:00] Medtronic
    • 在 NVIDIA Holoscan 上构建了用于结肠癌检测的 GI Genius 系统。
    • outcome: 创建了一个软件定义的医疗设备平台。
  • [26:00] TSMC
    • 实施 cuLitho 用于计算光刻。
    • outcome: 将 40,000 台 CPU 服务器减少到 500 台 DGX 系统，功耗从 35MW 降至 5MW。
  • [41:59] Runway
    • 使用 CV-CUDA 进行基于云的生成式 AI 视频编辑。
    • outcome: 在几分钟内实现对象移除和背景更改等功能。
  • [58:56] Amazon Robotics
    • 使用 Omniverse 和 Isaac Sim 模拟 Proteus 自主机器人。
    • outcome: 生成合成数据，将标记检测成功率从 88.6% 提高到 98%。
  • [01:06:00] BMW
    • 使用 Omniverse 为匈牙利德布勒森的新电动汽车工厂构建数字孪生。
    • outcome: 使全球团队能够进行虚拟协作，在物理建设之前优化布局并解决问题。

关键技术 (12)

  • CUDA: 跨各个领域加速应用程序的并行计算平台和编程模型。
  • cuQuantum: 用于在 GPU 上模拟量子电路的加速库。
  • Spark RAPIDS: 在 GPU 上加速 Apache Spark 数据处理工作负载。
  • RAFT: 用于加速向量数据库中索引和检索的库。
  • cuOpt: 用于解决复杂路线规划和物流问题的优化引擎。
  • TensorRT & Triton: 用于在数据中心优化和提供 AI 推理模型的软件栈。
  • CV-CUDA & VPF: 用于加速计算机视觉和视频处理流水线的库。
  • cuLitho: 加速半导体制造中计算光刻的软件库。
  • Grace CPU: 专为高性能 AI 和云计算工作负载设计的基于 Arm 的 CPU。
  • BlueField DPU: 从 CPU 卸载网络、存储和安全任务的数据处理单元。
  • AI Foundations (NeMo, Picasso, BioNeMo): 提供预训练模型和框架以构建自定义生成式 AI 的云服务。
  • Omniverse & USD: 基于通用场景描述 (USD) 的平台，用于创建 3D 数字孪生和工业模拟。

现场演示 (7)

  • [16:10] cuOpt 解决复杂路线规划问题的可视化。
    • True
  • [24:40] 解释计算光刻以及 cuLitho 影响的动画。
    • True
  • [38:40] 生成式 AI 应用示例 (Tabnine、Omnikey、Core AI、Jasper)。
    • True
  • [42:00] Runway 由 CV-CUDA 提供支持的基于云的视频编辑工具。
    • True
  • [48:24] BioNeMo 预测蛋白质结构并生成分子。
    • True
  • [58:56] 在 Isaac Sim 中模拟 Amazon 的 Proteus 机器人在仓库中导航。
    • True
  • [01:06:00] 使用 Omniverse 在 BMW 新电动汽车工厂的数字孪生中进行的实时协作会话。
    • True

预测 / 承诺 (5)

  • [07:50, 当前/持续中] AI 的 iPhone 时刻已经到来。
  • [26:32, June 2023] TSMC 将从 6 月开始对 cuLitho 进行生产验证。
  • [35:24, 近期] Oracle Cloud Infrastructure (OCI) 将成为首个 DGX Cloud。
  • [49:15, 长期] 生成式 AI 将重塑几乎所有行业。
  • [01:11:11, 近期] NVIDIA Omniverse Cloud 将托管在 Microsoft Azure 中。

公司提及 (17)

Cadence, Ansys, Siemens · IBM, Google, Baidu, AWS · GCP, AWS, Databricks, Cloudera · Meta, Milvus, Redis · AT&T · Microsoft, Amazon, Amex, USPS, Uber, Roblox · PacBio, Oxford Nanopore, Ultima · Medtronic · ASML, TSMC, Synopsys · Check Point, Cisco, DDN, Dell, Juniper, Palo Alto, Red Hat, VMware · Baidu, CoreWeave, JD.com, Azure, OCI, Tencent · Microsoft Azure, Google GCP, Oracle OCI · Getty Images, Shutterstock, Adobe · Amgen, AstraZeneca, Insilico Medicine · Siemens, Bentley, Rockwell, Unity · BMW · Microsoft

引用 (4)

The iPhone moment of AI has started. — Jensen Huang @ 07:48

The chip industry is the foundation of nearly every industry. — Jensen Huang @ 22:34

Generative AI is a new kind of computer, one that we program in human language. — Jensen Huang @ 37:53

Together, we are helping the world do the impossible. — Jensen Huang @ 01:17:38

主题

加速计算 · 生成式 AI · 大型语言模型 (LLM) · 量子计算模拟 · 计算光刻 · AI 推理 · 数字孪生 · 工业元宇宙 · 药物发现 · 云计算 · 半导体制造 · 机器人模拟

要点

  • 摩尔定律正在放缓，这使得加速计算对于所有行业未来的性能提升和能效至关重要。
  • 生成式 AI 代表了计算领域的根本性转变，作为一种可通过人类语言编程的新平台。
  • NVIDIA 正在将其商业模式从销售硬件扩展到提供全栈云服务，包括 DGX Cloud、AI Foundations 和 Omniverse Cloud。
  • cuLitho 的推出是半导体制造领域的重大突破，大幅减少了设计下一代芯片所需的时间和能源。
  • Omniverse 正将自身定位为工业数字化的标准操作系统，使企业能够在物理建设之前构建和模拟工厂及产品的数字孪生。