当 HBM 不再唯一,AI 内存的新棋局

类别: 中国视角(B站) · 时长: 5 分钟 · ▶ 观看

讲者: ICVIEWS 半导体产业纵横

Switch language → English

章节 (8)

  • 00:00 · HBM技术简介
    • 介绍了高带宽内存（HBM）作为下一代DRAM技术，通过垂直堆叠实现超高带宽，成为AI大模型训练与推理的关键组件。
  • 00:20 · HBM市场格局变化
    • 阐述了SK海力士凭借HBM技术优势，在市场中地位持续攀升，与三星的份额差距拉大，并首次在DRAM领域超越三星。
  • 01:10 · 三星Z-NAND技术
    • 三星计划重启搁置七年的Z-NAND存储技术，作为HBM的替代方案，旨在大幅提升性能、降低功耗和延迟。
  • 01:34 · NEO Semiconductor的3D X-DRAM
    • NEO Semiconductor推出面向AI芯片的X-HBM架构，基于其自研的3D X-DRAM技术，旨在突破传统HBM在带宽和容量上的瓶颈。
  • 02:29 · Saimemory的全新堆叠式DRAM
    • 由软银、英特尔和东京大学联合创立的Saimemory正在研发全新堆叠式DRAM架构，目标是成为HBM的直接替代者或更优方案。
  • 02:55 · 存内计算（PIM）技术
    • 介绍了存内计算（PIM）技术，通过将计算单元集成至数据存储位置，从根本上解决冯·诺依曼架构的数据移动瓶颈。
  • 03:33 · 华为UCM推理记忆数据管理器
    • 华为发布UCM技术，通过管理KV Cache来优化大模型推理过程，实现高吞吐、低时延，降低对HBM的依赖。
  • 04:05 · 未来AI内存展望
    • 总结认为，未来AI内存市场将呈现架构多样化，多种技术并存，共同构成一个异构、多元的层级体系，以适应不同应用场景。

内存事实 (8)

  • [00:02] HBM (High Bandwidth Memory) 是一种通过垂直堆叠多个DRAM芯片的DRAM技术。
    • Layers
  • [00:13] HBM的3D架构提供了远超传统GDDR内存的带宽。
    • Bandwidth
  • [01:20] Z-NAND的性能接近DRAM，系统延迟远低于传统SSD。
    • Latency, Performance
  • [01:25] Z-NAND基于改进的V-NAND设计，采用48层结构并以SLC模式运行。
    • Layers, Mode
  • [01:44] 3D X-DRAM被描述为一种“类似3D NAND的DRAM”。
    • Architecture
  • [02:14] X-HBM可实现32K位数据总线，单芯片容量高达512Gbit。
    • Bus width, Capacity (Gbit)
  • [02:20] X-HBM的带宽和密度分别是现有内存的16倍和10倍。
    • Ratio (x)
  • [02:45] Saimemory的技术旨在使存储容量翻倍，并将功耗降低40-50%。
    • Capacity, Power

瓶颈观点 (4)

  • [01:45] 传统HBM在带宽和容量上面临瓶颈。
    • 证据: 视频介绍了3D X-DRAM作为一种突破这些瓶颈的技术。
  • [01:51] 传统DRAM存在2D扩展限制。
    • 证据: 3D X-DRAM被提出作为打破这种2D扩展限制的解决方案。
  • [01:54] 内存的水平扩展会导致面积和功耗问题。
    • 证据: 3D X-DRAM的垂直堆叠被展示为解决该问题的方案。
  • [02:59] 传统的冯·诺依曼架构受制于数据移动瓶颈，系统性能受到数据传输延迟的限制。
    • 证据: 视频解释了处理单元和存储是分离的，从而导致了延迟。

预测 (4)

  • [04:20, 未来] 未来的AI内存市场将不再是简单的“替代与被替代”的二元对立。
  • [04:31, 未来] AI计算和内存领域不会出现完全取代HBM的单一赢家。
  • [04:41, 不久的将来] 单一内存解决方案主导高性能计算的时代正在结束。
  • [04:44, 未来] 未来的AI内存格局将是一个异构的、多层次的系统，针对不同场景采用不同的技术（HBM用于训练，PIM用于高效推理等）。

关键技术 (6)

  • HBM (High Bandwidth Memory): 垂直堆叠DRAM芯片，为AI加速器实现超高带宽。
  • TSV (Through-Silicon Via): 在HBM中为堆叠的芯片提供垂直电气连接。
  • Z-NAND: Samsung的高性能、低延迟NAND Flash技术，定位为某些工作负载下HBM的替代方案。
  • 3D X-DRAM: NEO Semiconductor的技术，采用类似3D NAND的结构用于DRAM，旨在克服传统DRAM的扩展限制。
  • PIM (Processing-in-Memory): 将计算直接集成到内存中，以减少或消除CPU/GPU与内存之间的数据移动瓶颈。
  • UCM (Unified Cache Manager): Huawei用于在AI推理中管理KV Cache的技术，可优化性能并减少对HBM容量的依赖。

公司提及 (9)

SK海力士 (SK Hynix) · 美光 (Micron) · 三星 (Samsung) · NEO Semiconductor · 软银 (SoftBank) · 英特尔 (Intel) · 东京大学 (University of Tokyo) · Saimemory · 华为 (Huawei)

引用 (3)

HBM替代方案的创新版图呈现出“架构哲学的多样性”，而非单一技术的迭代。 — Narrator @ 04:24

取而代之的将是更复杂、分散化且贴合应用场景的内存层级结构。 — Narrator @ 04:35

单一内存解决方案主导高性能计算的时代正在落幕。 — Narrator @ 04:41

主题

AI内存 · 半导体 · HBM (High Bandwidth Memory) · DRAM · NAND Flash · 存内计算 (Processing-in-Memory, PIM) · 系统架构 · 市场竞争 · 技术创新

要点

  • HBM是目前高性能AI内存的标准，但正面临来自替代技术日益激烈的竞争。
  • SK Hynix在HBM市场确立了主导地位，超越了Samsung等竞争对手。
  • 各公司正在开发多种HBM的替代方案，例如Samsung的Z-NAND和NEO Semiconductor的3D X-DRAM，以解决成本、功耗和扩展限制问题。
  • 诸如存内计算(PIM)和Huawei的UCM等新系统架构正在涌现，以解决根本的数据移动瓶颈，减少对纯内存带宽的依赖。
  • AI内存的未来不是赢家通吃的市场，而是一个异构生态系统，不同的内存技术针对特定任务进行优化（例如，HBM用于训练，PIM用于推理）。
  • 对中国而言，国产HBM技术存在显著差距，这使得开发替代内存架构成为支持国内AI产业的战略重点。