Acquired NVIDIA Part II: The Machine Learning Company (2006-2022)

类别: Acquired 长篇深度 · 时长: 135 分钟 · ▶ 观看

讲者: Ben Gilbert and David Rosenthal

Switch language → English

章节 (27)

• 00:00 · 简介与计算规模
  • 主持人们介绍了本期节目，并讨论了现代 AI 所需的难以估量的计算规模。
• 07:00 · Nvidia 的早期战略与执行
  • 回顾 Nvidia 的早期发展，重点关注其激进的 6 个月产品周期以及自行编写驱动程序的决定。
• 15:00 · 斯坦福研究员与早期 GPU 计算
  • 讲述了一位研究员使用 GPU 进行量子化学研究的故事，突显了 GPU 在通用计算方面的早期潜力。
• 21:00 · CUDA 的诞生
  • Jensen Huang 在创建 CUDA 上的巨大赌注，这是一个使 GPU 能够为通用任务进行编程的软件层。
• 24:00 · 2008 年崩盘与坚持到底
  • 在金融危机期间，Nvidia 的股价暴跌了 80%，但该公司依然坚持其昂贵的 CUDA 战略。
• 36:00 · Tegra 移动端实验
  • Nvidia 试图通过 Tegra 进入移动处理器市场，该尝试最终在 Nintendo Switch 上获得了成功。
• 43:00 · ImageNet 与 AI 大爆炸
  • Fei-Fei Li 创建了 ImageNet 数据集，为深度学习革命奠定了基础。
• 46:00 · AlexNet 改变一切
  • Alex Krizhevsky 及其团队使用 Nvidia GPU 训练了一个神经网络，打破了之前所有的 ImageNet 记录。
• 45:50 · AlexNet 的突破
  • 主持人们讨论了 AlexNet 团队如何利用深度学习和 GPU 在 AI 图像识别领域取得巨大突破。
• 48:21 · CUDA 与寻找市场
  • Nvidia 开发的 CUDA 和 cuDNN 提供了必不可少的软件层，使 AI 研究人员能够使用 GPU。
• 51:41 · 万亿美元的 AI 市场
  • 人们意识到 AI 可以彻底改变数字广告和内容聚合，这为 Nvidia 的硬件创造了一个巨大的新市场。
• 54:41 · Nvidia 的股票历程与加密货币的繁荣/萧条
  • 回顾 Nvidia 的股价历史，包括由加密货币挖矿需求驱动的大幅上涨和随后的暴跌。
• 57:21 · 并行计算：图形、AI 和加密货币
  • 核心认识是，图形、神经网络和加密货币挖矿都依赖于非常适合 GPU 的“令人尴尬的并行”矩阵数学。
• 01:10:21 · 数据中心业务的崛起
  • 由于企业 AI 需求，Nvidia 的数据中心收入激增，追平并最终超越了其核心游戏业务。
• 01:20:21 · 收购 Mellanox 与数据中心规模
  • Nvidia 收购了 Mellanox，以控制连接数千个 GPU 所需的高速网络，使数据中心成为新的计算单元。
• 01:24:21 · 收购 Arm 失败与 Grace CPU
  • 尽管未能收购 Arm，Nvidia 仍推进开发其基于 Arm 架构的数据中心 CPU Grace。
• 01:34:21 · Nvidia 的财务状况与未来展望
  • 分析 Nvidia 的高估值、庞大的自由现金流以及销售企业软件解决方案的战略。
• 91:40 · Omniverse 愿景
  • 主持人讨论了 Nvidia 使用其硬件和软件模拟物理世界的宏大目标。
• 94:55 · Vanta 赞助
  • Vanta 的广告口播，这是一个合规与安全平台。
• 97:40 · 回顾 Nvidia 的早期岁月
  • 简要回顾 Nvidia 在显卡市场的濒死经历和早期战略。
• 100:30 · CUDA 的诞生
  • 讨论 Nvidia 为使 GPU 可编程以用于通用计算而押下的重注。
• 106:00 · 创新的代价
  • 构建 CUDA 如何大幅增加了芯片成本，却没有给其核心游戏客户带来直接利益。
• 111:00 · 市场崩盘与质疑
  • 在 2008 年金融危机以及华尔街对 CUDA 投资回报率的质疑中，Nvidia 遭遇了股价暴跌。
• 115:00 · 移动领域的挫折
  • Nvidia 试图用其 Tegra 芯片主导智能手机市场的失败尝试。
• 119:15 · 超大规模计算公司的资本支出
  • 分析科技巨头在数据中心基础设施上的巨额投资。
• 125:00 · AI 大爆炸
  • AlexNet 的突破如何证明 GPU 是深度学习的完美硬件。
• 130:35 · 好物分享
  • 主持人分享了他们个人推荐的书籍、相机和体验。

价格数据 (12)

时间	项目	数值	背景
13:45	Nvidia Market Cap	$20 billion	在金融危机爆发前的 2007 年中期，Nvidia 的市值达到顶峰。
23:45	ATI Acquisition	$6-7 billion	AMD 收购 Nvidia 的主要图形竞争对手 ATI 的估计价格。
25:00	Nvidia Stock Drop	80% decline	在 2008 年金融危机期间，Nvidia 股价的大幅下跌。
54:41	Nvidia Stock (2012-2015)	~$5	在市场意识到其在 AI 领域的潜力之前 Nvidia 股票的价格。
54:55	Nvidia Stock (Current at recording)	~$220	播客录制时的股票价格。
55:18	Nvidia Stock (2018 Peak)	$65	2017/2018 年加密货币挖矿热潮期间的最高股价。
55:33	Nvidia Stock (2019 Trough)	$34	加密货币崩盘后的股票价格。
01:06:43	RTX 3090 GPU	~$2,000	高端消费级显卡的价格。
01:07:06	H100 GPU	$20,000 - $30,000	单个企业数据中心 GPU 的估计价格。
01:10:00	Mellanox Acquisition	~$7 Billion	Nvidia 在 2020 年收购网络公司 Mellanox 所支付的价格。
111:30	AMD acquisition of ATI	~$6-7 billion	AMD 收购 Nvidia 主要图形竞争对手 ATI 所支付的价格。
112:30	Nvidia Market Cap	Dropped from ~$20B to ~$4B	在 2008 年金融危机期间，由于市场的质疑，Nvidia 的估值暴跌了 80%。

内存事实 (4)

• [19:50] 致力于 CUDA 平台的员工
  • 1,100 employees
• [30:00] 现代消费级 GPU 上的核心数量
  • Over 10,000 cores
• [46:41] 深度学习算法需要大量的计算能力。
  • 被比喻为需要‘地球上的沙粒’数量级的计算能力。
• [94:10] 训练一个语音识别模型所需的数学运算次数比地球上的沙粒还要多。
  • Math operations vs. grains of sand

瓶颈观点 (3)

• [16:30] 编程语言是 GPU 计算的瓶颈。
  • 证据: 研究人员必须将复杂的数学转换为图形着色器语言（CG）才能使用 GPU 硬件。
• [46:41] 在使用 GPU 之前，深度学习受到计算能力的瓶颈限制。
  • 证据: 这些算法已经存在了几十年，但在传统的 CPU 架构上运行是不切实际的。
• [01:06:21] 当前计算的瓶颈是将工作负载从 CPU 转移出去。
  • 证据: 行业向专用加速器（GPU、DPU）转变，以处理 CPU 运行太慢的任务。

预测 (4)

• [22:30, 长期（在 10+ years 内显现）] 如果 Nvidia 构建一个通用计算平台（CUDA），开发者最终会找到它的用武之地。
• [01:00:21, 未来/持续中] 将会发现更多依赖并行矩阵乘法的巨大市场。
• [01:33:21, 长期] Nvidia 的目标是 1 万亿美元的总潜在市场。
• [93:30, 长远未来] Nvidia 的 Omniverse 将能够模拟整个物理世界。

关键技术 (13)

• Programmable Shaders: 允许开发者编写自定义代码来决定像素和顶点的渲染方式，从而摆脱固定功能的图形处理。
• CUDA (Compute Unified Device Architecture): 一个并行计算平台和 API 模型，允许软件开发者使用支持 CUDA 的 GPU 进行通用处理。
• Tegra: Nvidia 专为移动设备设计的系统级芯片（SoC）系列，集成了 ARM 架构处理器和 Nvidia GPU。
• Convolutional Neural Networks (CNNs): 一类深度神经网络，最常用于分析视觉图像，事实证明在 GPU 上运行时非常有效。
• Deep Learning / Neural Networks: AI 的一个分支，使用多层算法从大量数据中学习。
• CUDA: Nvidia 的并行计算平台和编程模型，允许开发者使用 GPU 进行通用处理。
• cuDNN: 一个用于深度神经网络的 GPU 加速原语库，建立在 CUDA 之上。
• Transformer Models: 用于自然语言处理和图像生成等任务的高级 AI 架构。
• NVLink / Infinity Fabric: 用于以低延迟将多个芯片连接在一起的高速互连技术。
• DPU (Data Processing Unit): 一种专门设计的处理器，用于处理数据中心网络和数据移动任务。
• CUDA (Compute Unified Device Architecture): 一个并行计算平台和编程模型，允许开发者使用 GPU 进行通用处理。
• Tegra: Nvidia 主要为移动设备开发的系统级芯片 (SoC) 系列。
• Deep Learning: 基于人工神经网络的机器学习的一个子集，需要大规模的并行计算能力。

公司提及 (19)

Intel · Microsoft · AMD · Nintendo · Google · Facebook (Meta) · Baidu · Cerebras · Tesla · Mellanox · Arm · TSMC · Vanta · Nvidia · ATI · Apple · Qualcomm · Microsoft, Amazon, Meta, Alphabet · Softbank

引用 (7)

Thank you, I can get my life’s work done in my lifetime. — Jensen Huang (paraphrased) @ 15:30

If you don’t build it, they can’t come. — Jensen Huang (paraphrased) @ 22:30

Embarrassingly parallel. — Ben Gilbert @ 30:45

We cannot overstate the importance of this moment… This was the Big Bang moment for artificial intelligence. — Host @ 48:00

If we were a hedge fund, we’d put all our money into Nvidia. — Host (quoting Marc Andreessen) @ 54:08

You say solutions, I hear gross margin. — Host @ 01:21:08

If you don’t build it, they can’t come. — Host (paraphrasing Jensen Huang) @ 108:20

主题

Nvidia 从游戏公司到 AI 基础设施巨头的历史演变。 · 开发 CUDA 平台的战略重要性及巨大的财务风险。 · GPU 架构与深度学习计算需求的偶然交汇。 · AlexNet 的突破对科技行业的影响。 · 人工智能 · GPU 计算 · Nvidia 公司历史 · 数据中心基础设施 · 半导体行业 · Nvidia 的战略性长期押注 · CUDA 的开发与财务负担 · Nvidia 在移动芯片市场的失败 · GPU 与深度学习崛起的交汇点 · 超大规模计算公司资本支出的庞大规模

要点

• Nvidia 目前在 AI 领域的主导地位并非一蹴而就，而是对 CUDA 软件生态系统进行长达十年、高风险投资的结果。
• 仅靠硬件是不够的；Nvidia 的护城河建立在软件层（CUDA）之上，这使得研究人员和开发者能够使用他们的硬件。
• 当研究人员意识到图形处理“令人尴尬的并行”特性与神经网络所需的数学运算完美匹配时，AI 革命就被催化了。
• Nvidia 最初为图形设计的 GPU，被证明是深度学习所需并行处理的完美硬件。
• CUDA 和 cuDNN 的创建建立了一个巨大的软件护城河，将开发者锁定在 Nvidia 的生态系统中。
• Nvidia 成功地从一家以游戏为中心的公司转型为数据中心和 AI 巨头。
• 对 Mellanox 的收购使 Nvidia 能够将其架构从单个芯片扩展到整个数据中心。
• Nvidia 目前在 AI 领域的主导地位，是其十年来在使 GPU 通过 CUDA 实现可编程方面进行备受批评的投资的结果。
• 战略上的失败（例如 Nvidia 试图进入移动市场）可以提供宝贵的经验教训和技术，从而转化为未来的成功。
• 围绕硬件建立强大的软件生态系统，能比单纯的硬件创造出深得多的竞争护城河。