Dwarkesh + Jensen Huang: Nvidia moat

类别: 专家访谈 · 时长: 103 分钟 · ▶ 观看

讲者: Dwarkesh Patel · Jensen Huang

Switch language → English

章节 (22)

  • 00:00:00 · AI 会让 NVIDIA 商品化吗？
    • 主持人询问随着 AI 让软件商品化，NVIDIA 是否也会被商品化，并概述了 NVIDIA 对复杂制造供应链的依赖。
  • 00:00:32 · 将电子转化为 Token 的价值
    • Jensen Huang 认为，将电子转化为有价值的 Token 的过程涉及巨大的艺术和科学，因此很难被商品化。
  • 00:01:40 · NVIDIA 的商业模式与 5 层 AI 蛋糕
    • Jensen 将 NVIDIA 的心智模型描述为电子和 Token 之间的中间人，通过利用跨越 5 层 AI 堆栈的庞大合作伙伴生态系统，尽可能少做不必要的事。
  • 00:02:50 · AI 时代软件工具的未来
    • Jensen 预测 AI 智能体和工具用户的数量将呈指数级增长，导致对 Cadence 和 Synopsys 等软件工具的使用量猛增。
  • 00:04:30 · NVIDIA 的供应链护城河与采购承诺
    • 主持人质疑 NVIDIA 锁定供应链多年的大规模采购承诺是否构成了其主要护城河。
  • 00:05:00 · 上下游飞轮
    • Jensen 解释说，NVIDIA 做出巨大上游承诺的能力得益于其庞大的下游需求，从而创造了强大的飞轮效应。
  • 00:06:10 · 供应链能跟上吗？
    • 主持人询问上游供应链的物理限制（如晶圆厂和 EUV 机器生产）是否不可避免地会减缓 NVIDIA 的增长。
  • 00:06:44 · 克服瓶颈
    • Jensen 断言供应链瓶颈是暂时的（2-3 年），因为整个行业会蜂拥而至去解决它们，他以解决 CoWoS 短缺为例。
  • 00:08:32 · 来自 Google TPU 的竞争
    • 主持人就 Google TPU 的竞争威胁向 Jensen 提出挑战，指出像 Gemini 和 Claude 这样的主要模型都是在它上面训练的。
  • 00:09:35 · 加速计算与张量处理
    • Jensen 区分了 NVIDIA 的通用加速计算平台与 TPU 等专用 ASIC，强调了 CUDA 的灵活性和广阔的市场覆盖率。
  • 00:11:15 · 关于中国出口管制的辩论
    • 主持人提出了向中国提供先进 AI 芯片的国家安全担忧，因为它们具有发展网络攻击能力的潜力。
  • 00:11:35 · Jensen 反对限制性出口管制的理由
    • Jensen 认为限制对华芯片销售是一项有缺陷的政策，因为中国有资源开发自己的替代品，而且这会损害美国科技行业的全球领导地位。
  • 00:13:38 · 如果深度学习从未发生会怎样？
    • Jensen 表示，即使没有深度学习革命，NVIDIA 仍然会是一家专注于科学和工程加速计算的非常大的公司。
  • 00:14:44 · 为什么不建立自己的云？
    • Jensen 解释了 NVIDIA “做尽可能多需要做的事，但做尽可能少不必要的事”的理念，更倾向于赋能其云合作伙伴而不是与他们竞争。
  • 00:16:24 · Anthropic 的异常情况
    • Jensen 回应了为什么 Anthropic 使用非 NVIDIA 硬件，解释说这是早期投资协议的结果，而 NVIDIA 当时并不具备达成这些协议的条件。
  • 00:18:35 · 不挑选赢家的重要性
    • Jensen 回顾了图形行业的早期阶段，以阐明他支持整个生态系统而不是挑选赢家的理念，他认为这对于长期成功至关重要。
  • 00:21:13 · GPU 分配与定价策略
    • Jensen 否认 NVIDIA 基于偏袒或拍卖来分配芯片，表示他们的流程基于预测和先到先得，且定价稳定。
  • 00:22:31 · 计算机科学超越摩尔定律的力量
    • Jensen 强调，架构和算法的改进（计算机科学）提供了远大于单纯摩尔定律的性能提升，他以从 Hopper 到 Blackwell 的 50 倍飞跃为例。
  • 00:25:25 · 放弃中国市场的风险
    • Jensen 充满激情地争辩说，让出中国市场将损害美国国家安全和技术领导地位，因为这将允许一个竞争性的技术堆栈成为全球标准。
  • 00:28:31 · 散布 AI 恐惧的危险
    • Jensen 警告不要使用极端言论将人们从 AI 和软件工程中吓跑，认为这对国家不利，并且误解了这项技术的本质。
  • 00:30:41 · 支持开放与对话的理由
    • Jensen 提倡与中国就 AI 安全进行对话，并支持主要建立在美国技术堆栈上的开源生态系统，以保持美国的领导地位。
  • 00:35:05 · 中国算力短缺的谬误
    • Jensen 反驳了中国缺乏算力的观点，指出他们拥有庞大的能源资源和主流芯片制造能力，这使他们能够利用较旧但仍然有用的技术进行横向扩展。

价格数据 (8)

时间 项目 数值 背景
00:04:32 NVIDIA Purchase Commitments (in latest filings) almost $100 billion 主持人提到了 NVIDIA 在代工厂、内存和封装方面的大规模采购承诺。
00:04:42 NVIDIA Purchase Commitments (reported by SemiAnalysis) $250 billion 主持人引用了一份关于 NVIDIA 未来采购承诺的报告。
00:19:44 Investment in OpenAI $30 billion 主持人提到了 NVIDIA 对 OpenAI 的投资规模。
00:19:45 Investment in Anthropic $10 billion 主持人提到了 NVIDIA 对 Anthropic 的投资规模。
00:40:14 VC Investment in an AI Lab $5-10 billion Jensen 表示，风险投资公司在早期不会向像 Anthropic 这样的 AI 实验室投入 $5-10 billion。
00:56:35 AI Factory Compute Purchase $1 billion Jensen 表示客户可以从 NVIDIA 购买价值 $1 billion 的 AI 工厂算力。
00:56:40 AI Factory Compute Purchase $100 million Jensen 表示客户可以从 NVIDIA 购买价值 $100 million 的 AI 工厂算力。
00:56:51 AI Factory Purchase $100 billion Jensen 表示客户可以向 NVIDIA 订购价值 $100 billion 的 AI 工厂。

内存事实 (6)

  • [00:00:18] NVIDIA 的制造过程涉及将逻辑芯片与 HBM 封装在一起。
    • HBM
  • [00:00:20] HBM 采购自 SK Hynix、Micron 和 Samsung 等公司。
    • HBM
  • [00:08:43] Huawei 在其芯片中使用 HBM2 内存。
    • HBM2
  • [00:08:51] 内存带宽是训练和推理中的一个关键瓶颈。
    • Memory Bandwidth
  • [00:08:56] HBM2 和最新 HBM 之间的内存带宽差异可能达到一个数量级。
    • Order of magnitude
  • [00:19:42] NVIDIA 在 LPDDR 和 HBM 内存方面与 Micron 进行了合作。
    • LPDDR, HBM

瓶颈观点 (5)

  • [00:06:44] 供应链瓶颈不是永久性的；它们通常会在 2-3 年内得到解决，因为整个行业会蜂拥而至去解决它们。
    • 证据: CoWoS 封装短缺曾是一个主要问题，但该行业多次将产能翻倍，它已不再是主要瓶颈。
  • [00:07:16] 在任何特定时刻，瓶颈可能是一些平凡的事情，比如建造数据中心可用的水管工或电工的数量。
    • 证据: 来自数据中心建设的轶事经验。
  • [00:13:50] 能源政策是一个重大瓶颈，阻碍了包括 AI 工厂在内的新兴制造业的增长。
    • 证据: 没有能源就无法创造新产业，而建设能源基础设施需要很长时间。
  • [00:14:46] 中国 AI 研究人员的瓶颈是算力。
    • 证据: 引用中国 AI 公司创始人的话，表示他们在算力上遇到了瓶颈。
  • [00:35:09] 美国能源稀缺，这就是为什么 NVIDIA 专注于创建极其节能的架构（每瓦高吞吐量）。
    • 证据: 这被视为 NVIDIA 架构设计的战略驱动力。

预测 (2)

  • [00:03:22, 未指定，但暗示为中短期。] AI 智能体和工具用户的数量将呈指数级增长，导致软件工具市场猛增。
  • [00:30:14, 几年] 几年后，当美国想要将其技术出口到新兴市场时，如果美国现在放弃该市场，它会发现一个竞争性的中国技术堆栈已经成为标准。

关键技术 (10)

  • GDSII: 一种用于传输集成电路布局数据的数据库文件格式，NVIDIA 将其发送给 TSMC 以开始芯片制造。
  • HBM: 一种用于 3D 堆叠内存的高性能 RAM 接口，用于高性能图形加速器和网络设备。
  • CoWoS: TSMC 的一种先进 2.5D 封装技术，将多个芯片（如 GPU 和 HBM）集成到单个中介层上。
  • CUDA: NVIDIA 的并行计算平台和编程模型，允许软件使用 GPU 进行通用处理。
  • TPU: Google 专为神经网络机器学习设计的定制 ASIC（专用集成电路）。
  • Silicon Photonics: 使用硅作为光学介质在计算机芯片和其他组件之间高速移动数据的技术。
  • NVLink: NVIDIA 开发的高速、直接的 GPU 到 GPU 互连技术。
  • Spectrum-X: NVIDIA 专为 AI 工作负载设计的以太网网络平台。
  • EUV: 一种先进的半导体制造技术，用于制造最现代、纳米级最小的芯片。
  • MoE: 一种神经网络架构，其中使用多个“专家”网络，并由门控网络决定针对给定输入咨询哪个专家，从而提高效率。

公司提及 (28)

NVIDIA · TSMC · SK Hynix · Micron · Samsung · Cadence · Synopsys · SemiAnalysis · CoreWeave · Google · Amazon (AWS) · Microsoft (Azure) · Oracle (OCI) · xAI · Eli Lilly · Trainium (Amazon) · Lumentum · Coherent · Mellanox · Anthropic · OpenAI · Groq · Crusoe · Huawei · DeepSeek · Jane Street · Nscale · Nebius

引用 (8)

In the end, something has to transform electrons to tokens. — Jensen Huang @ 00:00:33

The input is electron, the output is tokens. In the middle, NVIDIA. And our job is to do as much as necessary, as little as possible, to enable that transformation to be done at incredible capabilities. — Jensen Huang @ 00:01:48

I don’t think you’re talking to somebody who woke up a loser. And that loser attitude, that losing premise makes no sense to me. — Jensen Huang @ 00:20:27

Moore’s Law is dead. — Jensen Huang @ 00:22:32

Why is it that your policy, your philosophy, leads to United States giving up a vast part of the world’s market? It is a disservice to our country. It is a disservice to our national security. It is a disservice to our technology leadership, all for the benefit of one company. It makes no sense to me. — Jensen Huang @ 00:25:25

If we scare this country into thinking that AI is somehow a nuclear bomb, so that everybody hates AI and everybody’s afraid of AI, I don’t know how you’re helping the United States. You’re doing a disservice. — Jensen Huang @ 00:28:31

We should do as much as needed, as little as possible. — Jensen Huang @ 00:44:18

You can count on us every single year. — Jensen Huang @ 00:56:31

主题

NVIDIA 的商业战略与护城河 · AI 硬件供应链与瓶颈 · AI 芯片市场的竞争（NVIDIA 与 ASIC） · 软件和可编程性（CUDA）在 AI 中的作用 · 中美技术竞争与出口管制 · AI 算力的经济学（TCO、每瓦性能） · AI 行业堆栈的未来 · AI 安全与国家安全影响

要点

  • Jensen Huang 认为 NVIDIA 的核心价值不仅在于制造芯片，还在于赋能整个复杂的“电子到 Token”的转化。他认为这种从架构到软件（CUDA）再到系统的全栈能力是极难被商品化的。
  • NVIDIA 的护城河是一个飞轮：其庞大的下游市场覆盖率（每个云、每个开发者）让供应商有信心为 NVIDIA 进行巨大的上游产能投资，这反过来又增强了 NVIDIA 的供应和为市场服务的能力。
  • Jensen 认为，虽然硬件（摩尔定律）提供了渐进式的收益，但 AI 性能的最大飞跃（例如从 Hopper 到 Blackwell 的 50 倍）来自计算机科学：新算法、新模型（如 MoE）以及跨整个堆栈的协同设计，这只有通过像 CUDA 这样的可编程架构才有可能实现。
  • 他强烈反对美国对华 AI 芯片出口管制，称其为“失败的前提”。他认为这损害了美国的技术领导地位，因为中国无论如何都有资源建立自己的生态系统，而且这切断了美国公司与一个巨大市场的联系，可能让一个竞争性的技术堆栈成为全球标准。
  • NVIDIA 的战略是成为整个 AI 行业的基础平台，支持所有参与者（包括竞争对手的框架）而不挑选赢家。他们的目标是拥有最佳的总拥有成本（TCO）和每瓦性能，使他们成为任何规模下最经济的选择。