Dwarkesh + Andrej Karpathy: Summoning Ghosts

类别: 专家访谈 · 时长: 146 分钟 · ▶ 观看

讲者: Andrej Karpathy · Dwarkesh Patel

Switch language → English

章节 (14)

  • 00:00 · 简介
    • 本期节目的精彩片段与简介。
  • 00:48 · Agents 的十年
    • Karpathy 解释了为什么我们将迎来 AI agents 的十年，而不是仅仅一年。
  • 04:04 · AI 领域的巨变
    • 讨论 AI 历史上的重大转变，包括 AlexNet 以及 Atari 游戏中的 RL。
  • 07:51 · 进化与预训练的对比
    • 将生物进化与语言模型的预训练进行比较。
  • 14:40 · 上下文学习
    • 探讨上下文学习的机制及其与梯度下降的关系。
  • 18:00 · 记忆与压缩
    • 分析模型如何将信息压缩到权重中，而不是将其存储在 KV cache 中。
  • 20:00 · 大脑类比
    • 将当前的 AI 架构与人类大脑的不同部分进行比较。
  • 27:30 · NanoGPT 与从零开始构建
    • 从零开始构建模型以深入理解它们的价值。
  • 35:11 · 自动化 AI 工程
    • AI 自动化 AI 研究员和工程师工作的挑战与影响。
  • 40:54 · 强化学习的缺陷
    • Karpathy 认为，与人类学习相比，RL 是一种糟糕的学习算法。
  • 56:00 · 模型崩溃
    • 使用其他模型生成的合成数据来训练模型的危险性。
  • 01:05:43 · AI 在教育中的应用
    • AI 导师将如何通过提供个性化、完美的指导来彻底改变学习方式。
  • 01:15:11 · 自动驾驶汽车
    • 比较 Tesla 和 Waymo 在自动驾驶方面的进展和方法。
  • 01:22:30 · 超级智能
    • 讨论迈向 AGI 的轨迹，以及它将是渐进的还是突然的转变。

价格数据 (1)

时间 项目 数值 背景
27:30 NanoGPT $100 GitHub 仓库上显示的构建 NanoGPT 的成本。

内存事实 (2)

  • [18:00] Llama 3 70B 模型权重代表了每个预训练 token 的特定信息量。
    • 0.075 bits/token
  • [18:20] 上下文中每增加一个 token，KV cache 的大小就会显著增长。
    • 320 kB (2.56 million bits) per token

瓶颈观点 (3)

  • [01:48] 当前的 AI agents 受限于缺乏持续学习和多模态能力。
    • 证据: 它们无法有效地记住过去的交互，也无法无缝地使用视觉和动作与世界互动。
  • [35:11] 自动化 AI 工程是智能爆炸的一个主要瓶颈。
    • 证据: AI 模型目前难以应对编写新颖 AI 代码和进行研究所需的复杂、长周期的任务。
  • [01:06:00] AI 协作受限于缺乏共享的“文化”。
    • 证据: 与人类通过文化和人造物共享知识不同，LLMs 没有一个持久的共享环境来在彼此的工作基础上进行构建。

预测 (3)

  • [01:35, 10 years] 完全实现具备能力的 AI agents 大约需要十年的时间。
  • [01:05:43, 不久的将来] AI 导师将成为人们学习的主要方式，提供完美、个性化的指导。
  • [01:11:00, 长期] 通往 AGI 的道路将是任务的逐步自动化，而不是突然的“急转弯”。

关键技术 (4)

  • Deep Learning: 基于人工神经网络的机器学习的一个子集。
  • Reinforcement Learning (RL): 通过奖励期望的行为来训练模型做出序列决策。
  • In-Context Learning: 模型在推理时从提供的 prompt 中学习而无需更新其权重的能力。
  • KV Cache: transformers 用于存储过去 tokens 的键和值向量以加速生成的内存。

公司提及 (5)

OpenAI · DeepMind · Tesla · Waymo · Google

引用 (3)

Reinforcement learning is terrible. It just so happens that everything that we had before it is much worse. — Andrej Karpathy @ 00:00

We’re not actually building animals. We’re building ghosts. — Andrej Karpathy @ 09:24

Humans don’t use reinforcement learning. — Andrej Karpathy @ 41:35

主题

AI Agents · 强化学习 · 上下文学习 · AI 教育 · 模型压缩 · 自动驾驶汽车 · AGI 时间线

要点

  • 开发完全自主的 AI agents 可能需要十年的迭代改进，而不是一蹴而就。
  • 当前的 AI 训练方法（预训练）与生物进化有着根本的不同，它创造的是“幽灵”而不是“动物”。
  • 与人类学习相比，强化学习效率极低，并且在 AI 开发中经常被误用。
  • 从零开始构建模型（如 NanoGPT）对于深入理解它们的工作原理至关重要。
  • AI 有潜力通过提供个性化、无限耐心的导师来彻底改变教育。