Dwarkesh + Dario Amodei: End of exponential

类别: 专家访谈 · 时长: 142 分钟 · ▶ 观看

讲者: Dario Amodei · Dwarkesh Patel

Switch language → English

章节 (25)

  • 00:00 · AI 的指数级进步
    • Dario Amodei 讨论了过去三年中 AI 的底层技术如何如预期般呈指数级扩展。
  • 01:21 · 扩展假说与 RL
    • Amodei 解释了“海量计算”假说，以及扩展定律如何同时适用于预训练和强化学习。
  • 05:27 · 苦涩的教训与人类学习
    • 讨论 Richard Sutton 的“苦涩的教训”，以及当前的 AI 训练方法是否模仿了人类进化或上下文学习。
  • 12:35 · AGI 时间表与经济扩散
    • Amodei 预测几年内将出现“数据中心里的天才国度”，但指出经济扩散将需要更长的时间。
  • 17:28 · 自动化软件工程
    • 对话转向 AI 编写代码的能力，以及生成代码行与端到端软件工程之间的区别。
  • 21:25 · 企业采用与收入增长
    • Amodei 强调了 Anthropic 收入的快速增长以及企业在采用 AI 工具时面临的阻力。
  • 28:13 · Labelbox 赞助商环节
    • Labelbox 的广告口播，展示了如何训练 AI 销售智能体。
  • 29:42 · 对 AI 智能体的预测
    • Amodei 评估了过去对 AI 智能体的预测，并讨论了构建可靠的自主系统所面临的挑战。
  • 35:08 · 上下文长度与在职学习
    • 关于长上下文窗口是否可以替代持续的在职学习以及所涉及的工程挑战的辩论。
  • 46:14 · “天才国度”的时间表
    • Amodei 将达到 AGI 级别能力的时间表精确到 1 到 3 年。
  • 48:20 · 扩展 AI 的经济学
    • Dario 讨论了高估 AI 需求和过早购买算力的财务风险。
  • 57:49 · Jane Street 谜题广告
    • Dwarkesh 介绍了一个由 Jane Street 赞助的机器学习谜题。
  • 58:48 · 盈利能力与需求预测
    • 讨论 AI 的盈利能力如何取决于准确预测未来推理与训练的需求。
  • 1:02:19 · 边际收益递减与行业均衡
    • Dario 解释了对数线性扩展定律如何导致边际收益递减，从而防止单一公司垄断市场。
  • 1:07:20 · Mercury 广告
    • Dwarkesh 推广 Mercury 的个人银行业务。
  • 1:09:24 · AI 与机器人的未来
    • 探讨 AI 创造数万亿美元收入的时间表及其在机器人和编程中的应用。
  • 1:20:16 · 治理与安全
    • 需要全球治理架构来管理高级 AI 系统的风险。
  • 96:40 · 州与联邦 AI 监管的对比
    • Dario Amodei 讨论了他反对对州级 AI 监管实施 10 年禁令的立场，并主张采取有针对性的联邦优先权。
  • 102:24 · 放松对 AI 益处的管制与监管 AI 风险
    • Amodei 建议放松对药物研发等领域的管制以加速实现 AI 的益处，同时加强针对生物恐怖主义等风险的安全立法。
  • 104:39 · 出口管制与威权政权
    • 对话转向对华芯片出口管制的必要性，以及 AI 扩散至威权政府的风险。
  • 114:00 · 指数级进步与关键时刻
    • Amodei 解释说，尽管 AI 的进步是指数级的，但可能会出现一些关键的窗口期，在这些时期 AI 会带来巨大的国家安全优势。
  • 116:10 · AGI 时代专制制度的未来
    • Amodei 表达了希望，认为强大 AI 的出现可能会使威权主义在道德上过时且无法运作。
  • 126:25 · Constitutional AI：原则与规则的对比
    • Amodei 详细介绍了 Anthropic 的 Constitutional AI 方法，认为教导模型原则比赋予它们死板的规则更有效。
  • 129:50 · 迭代 AI 价值观
    • 讨论了通过内部迭代、行业比较和社会意见输入来更新 AI 宪法的过程。
  • 135:46 · 公司文化与“Dario 愿景探索”
    • Amodei 分享了他如何通过定期的、未经粉饰的内部备忘录向 Anthropic 员工传达他的战略愿景。

价格数据 (19)

时间 项目 数值 背景
14:23 Human wages $50 trillion 支付人类劳动力的全球成本，说明了自动化的经济动机。
21:36 Anthropic 2023 Revenue $0 to $100 million Anthropic 的收入增长轨迹。
21:38 Anthropic 2024 Revenue $100 million to $1 billion Anthropic 的收入增长轨迹。
21:42 Anthropic 2025 Revenue $1 billion to $9 or $10 billion Anthropic 预计的收入增长轨迹。
26:30 Enterprise AI software contract $50 million 企业部署像 Claude Code 这样的工具可能需要支付的成本。
50:56 Annualized revenue rate $10 billion 年初的假设收入率。
51:32 Future revenue $100 billion 2026 年底的假设收入。
51:33 Future revenue $1 trillion 2027 年底的假设收入。
51:38 Compute cost $5 trillion 连续 5 年每年购买 $1 trillion 算力的成本。
51:53 Revenue shortfall $800 billion 如果算力支出为 $1T，而收入仅为 $800B，将导致破产。
56:43 Cost of compute per Gigawatt $10 to $15 billion 数据中心每吉瓦容量的估计年成本。
57:49 Jane Street Puzzle Prize $50,000 解决机器学习谜题的奖金池。
58:35 Jane Street Puzzle Prize (Exact) $49,877 屏幕上显示的确切奖金金额。
1:00:24 Compute spend $100 billion 假设的年度算力支出。
1:00:27 Inference revenue $150 billion 假设的推理产生的收入。
1:00:32 Training spend $50 billion 假设的模型训练支出。
1:00:38 Profit $50 billion 稳态模型中的假设利润。
1:03:43 Marginal compute cost $20 billion 由于对数线性扩展，获得一个稍微好一点的模型所需的额外成本。
1:07:20 Monthly spending limit $1,000 在 Mercury 借记卡上设置的限额示例。

内存事实 (2)

  • [40:01] 提供长上下文服务需要将整个 KV Cache 存储在内存中。
    • KV cache
  • [40:08] 长上下文推理需要在 GPU 上调度内存。
    • GPU memory

瓶颈观点 (5)

  • [14:21] 地缘政治事件可能会成为 AI 进步的瓶颈。
    • 证据: 假设台湾遭到入侵且晶圆厂被导弹炸毁的场景。
  • [26:14] 企业采用受到组织阻力的瓶颈限制。
    • 证据: 在全公司部署 AI 工具之前，需要经过法律、配置、安全和合规审查。
  • [40:01] 长上下文推理受到内存管理的瓶颈限制。
    • 证据: 在推理过程中存储 KV Cache 和在 GPU 之间调度内存的困难。
  • [49:34] 临床试验是部署新医疗方案的主要瓶颈。
    • 证据: 即使像 COVID-19 疫苗那样加速推进，监管和试验过程也花了一年半的时间。
  • [1:15:13] 机器人技术的进步可能会受到物理数据收集的瓶颈限制。
    • 证据: 如果没有大量的真实世界数据或高精度的模拟数据，当前的 AI 模型很难学会远程操作物理硬件。

预测 (12)

  • [13:55, 10 years] 我们将在 10 年内拥有一个“数据中心里的天才国度”。
  • [18:12, 3 to 6 months (过去)] AI 将在 3 到 6 个月内编写 90% 的代码（这是 8-9 个月前做出的预测）。
  • [46:07, 1 to 3 years] 我们将在 1 到 3 年内达到“天才国度”的能力水平。
  • [51:32, 2026 年底] AI 公司收入可能达到 $100 billion。
  • [51:33, 2027 年底] AI 公司收入可能达到 $1 trillion。
  • [56:38, 明年 (约 2025)] 全行业总算力容量将达到 10-15 吉瓦。
  • [56:53, 2028] 全行业总算力容量将达到 100 吉瓦。
  • [56:54, 2029] 全行业总算力容量将达到 300 吉瓦。
  • [1:15:21, 2030 年前] AI 行业不会创造数万亿美元的收入。
  • [104:00, 年内] 像 AI 赋能的生物恐怖主义等风险可能最快在今年晚些时候出现，需要迅速采取立法行动。
  • [114:00, 持续中] 随着模型变得更加聪明，底层 AI 技术的指数级进步将继续。
  • [121:00, 后 AGI 时代] 在后 AGI 时代，威权主义可能会在道德上过时且无法运作。

关键技术 (9)

  • Reinforcement Learning (RL): 通过试错和奖励信号训练模型以实现特定目标。
  • CRISPR: 一种基因编辑技术，作为难以快速验证的基础科学发现的例子被提及。
  • KV Cache: 在推理过程中将键值对存储在内存中，以允许语言模型处理长上下文。
  • Mixture of Experts (MoE): 一种神经网络架构，将输入路由到特定的“专家”子网络，从而在不按比例增加计算量的情况下提高容量。
  • Data Centers: 训练和运行大型 AI 模型所需的物理基础设施和算力资源。
  • Cloud Computing: 用作 AI 行业的经济类比，其特点是高资本成本和寡头垄断结构。
  • Robotics: AI 的物理体现，允许模型与现实世界互动并进行操作。
  • Coding Agents (e.g., Claude Code): 旨在自主编写、调试和管理软件代码的 AI 系统。
  • Constitutional AI: 一种训练方法，使用一套高层次的原则而不是死板的具体规则列表来引导 AI 模型的行为。

公司提及 (10)

OpenAI · DeepMind · Anthropic · Labelbox · JP Morgan · Moderna · Jane Street · Mercury · Facebook / Meta · Google

引用 (9)

All the cleverness, all the techniques, all the kind of ‘we need a new method to do something like that’ doesn’t matter very much. — Dario Amodei @ 02:58

Within 10 years we’ll get to… a country of geniuses in a data center. — Dario Amodei @ 13:55

There is zero time for bullshit, there is zero time for feeling like we’re productive when we’re not. — Dario Amodei @ 21:25

If my revenue is not a trillion dollars, if it’s even 800 billion, there’s no force on Earth, there’s no hedge on Earth that could stop me from going bankrupt. — Dario Amodei @ 51:50

When I talked about behaving responsibly, what I meant actually was not the absolute amount… Have we been thoughtful about it? Or are we YOLOing and saying, oh, we’re going to do $100 billion here and $100 billion there. — Dario Amodei @ 52:44

The economy will grow much faster with AI than I think it ever has before, but it’s not like right now the compute is growing 3x a year. I don’t believe the economy is going to grow 300% a year. — Dario Amodei @ 1:01:50

Autocracy is simply not a form of government that people can accept in the post-powerful AI age. — Dwarkesh Patel @ 114:27

By teaching the model principles, getting it to learn from principles, its behavior is more consistent, it’s easier to cover edge cases, and the model is more likely to do what people want it to do. — Dario Amodei @ 126:50

The point is to get a reputation of telling the company the truth about what’s happening, to call things what they are, to acknowledge problems, to avoid the sort of corporate speak, the kind of defensive communication that often is necessary in public. — Dario Amodei @ 138:15

主题

AI 扩展定律 · 强化学习 · AI 的经济扩散 · 软件工程自动化 · AGI 时间表 · 企业 AI 采用 · 长上下文窗口 · AI 基础设施经济学 · 扩展定律与边际收益递减 · AI 投资中的风险管理 · AI 行业结构（垄断与寡头垄断） · AI 在生物学和机器人技术中的应用 · AI 治理与安全 · AI 监管 · 州法与联邦法的对比 · 生物恐怖主义风险 · 出口管制 · 威权主义与民主的对比 · Constitutional AI · 企业文化与沟通

要点

  • AI 能力在预训练和强化学习方面都呈指数级扩展。
  • 虽然原始 AI 能力可能会在 1 到 3 年内达到 AGI 级别（“天才国度”），但由于企业阻力和整合挑战，完全的经济扩散将需要更长的时间。
  • Anthropic 正在经历前所未有的大规模收入增长，在几年内从接近零扩展到潜在的数十亿美元。
  • 提供长上下文窗口服务主要是一个与 GPU 内存和 KV Cache 管理相关的工程瓶颈，而不是一个基础研究问题。
  • 投资 AI 基础设施需要精准的时机把握；由于庞大的固定成本，哪怕将需求高估一年也可能导致破产。
  • 虽然 AI 将加速经济增长，但它无法与算力扩展的指数级增长率相匹配。
  • AI 行业很可能会形成类似于云计算的寡头垄断，这是由高资本要求而非强大的网络效应驱动的。
  • 现实世界的瓶颈，如医学的临床试验或机器人技术的物理数据收集，将限制 AI 的影响速度，防止社会发生瞬间的剧变。
  • 有针对性的联邦 AI 监管优于拼凑的州法律或全面禁令。
  • 监管重点应放在加速 AI 的益处（如药物研发）上，同时严格管理严重风险（如生物恐怖主义）。
  • 威权政权利用 AGI 巩固其权力的风险很大，尽管也有希望认为 AGI 最终可能会使此类系统无法运作。
  • Anthropic 利用 Constitutional AI 通过广泛的原则来对齐模型，这被证明比硬编码的规则更具鲁棒性。
  • 透明、未经粉饰的内部沟通对于在 AI 实验室中保持对齐和专注至关重要。