20VC: Four bottlenecks in AI — Anj Midha

类别: 专家访谈 · 时长: 75 分钟 · ▶ 观看

讲者: Anjney Midha · Harry Stebbings

Switch language → English

章节 (13)

  • 00:00 · 简介
    • 介绍 Anjney Midha 及其在 Anthropic、Mistral 和 Amp 的背景。
  • 00:58 · Scaling Laws 与边际收益递减
    • Anjney 反驳了 AI 缩放存在边际收益递减的观点，并以 Periodic Labs 在材料科学领域取得的超指数级增长为例。
  • 02:55 · AI 的四大瓶颈
    • 讨论主要瓶颈：文化、上下文反馈（数据）、算力和资本。
  • 10:06 · 主权数据与本地基础设施
    • 由于 US Cloud Act 等法规，欧洲建立本地 AI 基础设施的必要性，并重点介绍了 Mistral 的战略。
  • 14:27 · Anthropic 的早期阶段
    • Anjney 回顾了 Anthropic 种子轮融资的艰难历程，当时面临了 21 家不理解该技术的风险投资机构的拒绝。
  • 19:35 · 公益公司与使命契合
    • 以 Amp 和 Anthropic 为例，探讨公益公司（PBC）在平衡长期使命与盈利动机方面的作用。
  • 25:21 · 风险投资的“回到未来”时代
    • 将当前的前沿科技投资与 Intel 和 Genentech 的早期阶段进行比较，指出这需要 GP 的深度参与。
  • 35:30 · GPU 浪费泡沫
    • Anjney 解释说，由于算力不可互换，我们正处于 GPU 浪费泡沫中，而不是 AI 能力泡沫。
  • 40:06 · 中国的 AI 战略与对抗性蒸馏
    • 中国如何利用系统协同设计和对西方开源模型的对抗性蒸馏，在 AI 竞赛中迎头赶上。
  • 44:26 · 推理的铁穹防御系统
    • 提议在西方 AI 实验室之间建立协调的防御机制，以防范国家支持的蒸馏攻击。
  • 47:04 · 推理市场的最优竞争
    • 为什么拥有 50 家推理公司会导致逐底竞争，以及为什么需要在 3-4 家强大的参与者之间进行最优竞争。
  • 55:24 · 前沿 AI 的资本需求
    • 估算与 Google 等超大规模云厂商竞争所需的巨额资本和电力（吉瓦级）。
  • 59:15 · 对 LP 的建议与风险投资的未来
    • Anjney 建议 LP 自己做研究，并批评了那些投资 AI 却不亲自使用 AI 进行构建的 GP。

价格数据 (4)

时间 项目 数值 背景
14:27 Anthropic Seed Round $100 million Anthropic 最初试图融资 5 亿美元后重新确定的种子轮规模。
14:27 Amazon Partnership with Anthropic $4 billion Amazon 与 Anthropic 之间算力和资本合作的规模。
22:30 Amp Cloud Spend $4 billion Amp 正在获取的 1.3 吉瓦算力基础设施在未来四年内的预计云支出。
22:30 Amp Equity Capital $10 billion 为 Amp 的算力基础设施建设提供资金所需的预计股权资本部分。

内存事实 (4)

  • [00:58] Periodic Labs 运营着一个用于 AI 驱动的材料科学的设施。
    • 30,000 square feet
  • [14:27] Anjney 向沙丘路的风险投资机构推介 Anthropic 种子轮融资时收到的拒绝次数。
    • 21 nos
  • [22:30] Amp 已开始获取的算力基础设施数量。
    • 1.3 gigawatts
  • [55:24] Google 用于内部和外部 AI 工作负载的预计基础设施容量。
    • 12 to 15 gigawatts

瓶颈观点 (3)

  • [02:55] 上下文反馈（特定领域数据）是推进新领域 AI 能力的主要瓶颈。
    • 证据: 早期的 AI 模型在物理和化学领域失败了，因为这些数据被锁定在国家实验室和物理工厂中，无法在公共互联网上获取。
  • [35:30] 缺乏算力标准化和可互换性是一个巨大的基础设施瓶颈。
    • 证据: 如果不购买全新的集群，就无法轻松地在不同代际的芯片（例如从 H100 到 GB200）之间迁移工作负载，从而导致资源浪费。
  • [47:04] 风险资本错配是推理市场的一个瓶颈。
    • 证据: 资助 50 家不同的推理公司会引发逐底竞争，并使真正创新的团队缺乏他们所需的稀缺算力资源。

预测 (4)

  • [07:36, 中短期] 我们将看到一代垂直整合的基础模型公司，它们生成自己的专有物理数据以建立护城河。
  • [10:06, 中期] 欧洲将开发完全独立的主权 AI 基础设施技术栈（土地、电力、算力、模型），以避免依赖美国的超大规模云厂商。
  • [29:20, 长期] AI 算力市场将从标准化前时代过渡到标准化的网格模型，类似于电网的演变。
  • [47:04, 中期] 推理市场将从数十个竞争者整合为 3 到 4 家占据主导地位、利润丰厚的参与者的“最优竞争”状态。

关键技术 (4)

  • LLMs (Large Language Models): 在 Periodic Labs 中用于预测新材料和超导体。
  • Transformers vs Diffusion Models: AI 模型的不同底层神经网络架构；嘉宾认为文化比局限于某一种特定架构更重要。
  • H100 / GB200 GPUs: 不同代际的 Nvidia AI 加速芯片；它们之间缺乏互操作性导致了算力浪费。
  • Adversarial Distillation: 一种使用更大、最先进模型的输出来训练较小或竞争模型，从而在能力上快速追赶的技术。

公司提及 (8)

Anthropic · Mistral · Amp · Periodic Labs · Amazon (AWS) · Google · Nvidia · Huawei

引用 (4)

There’s no saturation in superconductor discovery for example at all. The bitter lesson is holding is well and alive. — Anjney Midha @ 00:58

We are not in an AI crisis. We are not in an AI bubble… We are definitely in a GPU wastage bubble. — Anjney Midha @ 35:30

If we don’t secure frontier model inference… behind a coordinated Iron Dome, I don’t think we have a sustainable shot at staying at the frontier over the next decade. — Anjney Midha @ 44:26

Perfect competition is for losers. I also think monopolies are mafias. What we need is optimal competition. — Anjney Midha @ 47:04

主题

AI 缩放定律与边际收益递减 · AI 发展的瓶颈（文化、数据、算力、资本） · 主权 AI 基础设施与数据隐私 · 前沿科技领域风险投资的演变 · 算力标准化与 GPU 浪费泡沫 · AI 地缘政治：中国的战略与西方的防御 · 市场动态：推理竞争与垄断

要点

  • AI 的缩放并没有放缓；当与专有数据生成相结合时，它在特定的物理领域正在快速加速。
  • 对 AI 进步的最大威胁不是缺乏能力，而是缺乏标准化、可互换的算力基础设施，从而导致大规模的资源浪费。
  • 诸如 US Cloud Act 等地缘政治法规正迫使欧洲等地区建立完全独立的主权 AI 技术栈。
  • 为了防御国家支持的通过蒸馏窃取模型的行为，西方 AI 公司必须合作建立一个共享的推理“铁穹防御系统”。
  • 风险投资必须回归其深度、联合创始人式合作的根源，才能成功为前沿 AI 系统的巨额资本需求提供资金。