20VC: Demis Hassabis — Where Are The Bottlenecks

类别: 专家访谈 · 时长: 32 分钟 · ▶ 观看

讲者: Demis Hassabis · Harry Stebbings

Switch language → English

章节 (13)

  • 00:00 · 简介
    • 预告片段与 Demis Hassabis 简介。
  • 01:11 · 定义 AGI 与时间表
    • Demis 定义了 AGI，并预测它可能在未来五年内实现。
  • 02:58 · 算力瓶颈与缩放定律
    • 讨论算力作为主要瓶颈的问题，以及缩放定律持续存在但略有递减的收益。
  • 04:41 · AI 能力与缺失的拼图
    • 探讨 AI 在哪些方面超出了预期（视频、交互式模型），以及还缺少什么（持续学习、长期规划）。
  • 06:11 · DeepMind 的进展与重组
    • DeepMind 如何整合人才与算力以加速进展并保持领先地位。
  • 09:11 · 商品化与开源
    • 前沿模型与开源之间的差距，以及 DeepMind 通过 Gemma 等模型推进开放科学的方法。
  • 11:26 · 后 LLM 世界
    • 为什么 LLMs 只是未来 AGI 系统的组成部分，而不是全部解决方案。
  • 12:28 · 科学发现的未来
    • Demis 对 AI 作为科学终极工具的愿景，特别是在通过 Isomorphic Labs 进行药物发现方面。
  • 15:01 · AI 安全与监管
    • AI 安全需要国际协调、最低标准以及独立的审计机构。
  • 19:58 · 劳动力替代与经济学
    • 将 AI 革命与工业革命进行比较，并讨论重新分配生产力收益的必要性。
  • 24:07 · 解决能源危机
    • AI 如何优化现有电网并加速核聚变与电池技术的突破。
  • 25:34 · 在英国与美国创业的对比
    • 英国学术人才库的优势，以及稍微远离硅谷炒作的好处。
  • 29:18 · 快问快答
    • 关于会见 Elon Musk 的简短感想以及 Demis 希望留下的精神遗产。

瓶颈观点 (1)

  • [03:08] 算力是 AI 进展的最大瓶颈。
    • 证据: 不仅缩放定律（构建更大的模型）需要算力，它还是研究人员在合理规模下测试新算法想法的‘工作台’。

预测 (5)

  • [02:14, 5 years] AGI 可能在未来 5 年内实现。
  • [12:58, 5+ years] 进入由 AI 驱动的科学发现的黄金时代。
  • [13:48, 5 to 10 years] 一个全面的药物设计引擎将准备就绪。
  • [14:22, 10+ years] AI 模型将获得足够的信任，从而可以基于回测数据跳过某些临床试验步骤。
  • [24:36, 中期] AI 可以从国家电网中额外提取 30-40% 的效率。

关键技术 (7)

  • Large Language Models (LLMs): 推动了近期 AI 能力大幅跃升的基础模型。
  • Genie: 由 DeepMind 开发的交互式世界模型。
  • AlphaGo: 在围棋比赛中击败人类冠军的 DeepMind AI。
  • Reinforcement Learning: 一种基于奖励期望行为的机器学习训练方法。
  • Transformers: 现代 LLMs 的底层神经网络架构。
  • AlphaFold: 一个预测 3D 蛋白质结构的 AI 系统。
  • Gemma: 由 Google DeepMind 发布的一套开源模型。

公司提及 (9)

Google Brain · Google Research · DeepMind · Isomorphic Labs · Commonwealth Fusion · Spotify · Helsing · SpaceX · Founders Fund

引用 (3)

A system that exhibits all the cognitive capabilities the human mind has. — Demis Hassabis @ 01:36

I think it will be the ultimate tool for science and medicine. — Demis Hassabis @ 12:48

I sometimes quantify the coming of AGI as 10 times the Industrial Revolution at 10 times the speed. — Demis Hassabis @ 21:16

主题

通用人工智能 (AGI) · 算力瓶颈 · 缩放定律 (Scaling Laws) · 持续学习 · 开源与闭源 AI 模型 · AI 在科学发现与医学中的应用 · AI 安全与监管 · 劳动力市场颠覆 · 能源优化与核聚变 · 英国与美国科技生态系统对比

要点

  • 在持续的规模扩展和算法突破的推动下，AGI 确实有可能在未来 5 年内实现。
  • 算力仍然是主要瓶颈，不仅在于训练更大的模型，还在于让研究人员能够进行大规模实验。
  • 目前的 LLMs 只是未来 AGI 的一个组成部分；缺失的拼图包括持续学习、长期规划以及更好的记忆架构。
  • AI 最深远的影响将是作为科学发现的工具，特别是在彻底改变药物发现过程方面。
  • AGI 的经济影响将是巨大的（工业革命的 10 倍），需要社会进行适应以重新分配生产力收益。
  • 随着系统变得更具代理性和自主性，全球协调和独立的审计机构对于确保 AI 安全是必要的。