HBM：大型语言模型计算芯片的最佳拍档

逍遥设计自动化

引言随着生成式 AI 的爆炸性增长，HBM（高带宽内存）这个词也逐渐为人所熟知。如今绝大多数的生成式 AI，参数量动辄数百、数千亿个，其计算架构普遍采用冯·诺伊曼架构——即数据的存储位置与运算核心分开，需要时再做数据的迁移。然而，随着搬运亿级参数量来往运算核心与存储位置的代价远远超过数据运算本身的耗能及时间，导致整个模型的运算效率被严重拖累，这就是“冯·诺伊曼瓶颈”或“内存墙”[1]。因此，拥有高带宽、能够在单位时间内存取大量数据的 HBM 成为了大型语言模型计算芯片的绝佳解决方案。

v2moqar0cta6405715629.png

' v& f( F. Q% l: k3 p

5h1e5itjo3s6405715729.png

/ o' k& q4 i5 T1 C3 v& RHBM，突破传统 DRAM 的瓶颈HBM 并没有突破冯·诺伊曼架构，但它一定程度解决了传统 DRAM（DDR、GDDR、LPDDR）带宽、容量、功耗不能兼备的问题 [2]。
3 k2 N! {$ w9 o/ r9 M( p  z

wxrlmxygmlx6405715829.png

# \, ~' I* _3 E  t, C1 n- p1. 内存带宽 = I/O 速率（数据速率）x 总通道宽度（channel width）。传统 DRAM 如 DDR4、GDDR 着力于提升内存频率以提升内存带宽，例如 array 微缩、prefetch 技术等等；HBM 则是更着重于提升通道宽度来达到更高的内存带宽。虽然 GDDR 相比于 DDR 在通道宽度上也是有所提升，但由于 GDDR 本质上还是通过 PCB 载板上的布线与 GPU 做数据交换，通道宽度的提升受到一定程度限制，再者，GDDR 高带宽下的牺牲是有限的容量。
0 k" x# x6 ]% c! J* N" v5 A2.  HBM 则采用 TSV 技术堆叠 DRAM die 以大幅提升 I/O 数，再配合 2.5D 先进封装制程。在维持较低内存频率的同时达到更加显著的总通道宽度提升，鱼与熊掌兼得地具备高带宽、高容量、低功耗：TSV：直接在内存芯片上面钻孔并制成导线通道，并利用 bump 将一片一片的 die 堆叠起来，此法大幅增加 I/O 数量同时实现更高的容量。例如 HBM3E 之前的世代均具 1024 位元宽，是传统内存 32/64 位元的数十倍之多。2.5D 封装（CoWoS）：HBM 的 DRAM die 与 GPU 利用 2.5D 封装在一片硅中介板上，大幅缩短数据传递路径并消耗更少的能源。
6 k, ~# h  e3 E  O5 xHBM的挑战HBM 就像所有名牌奢侈品一样，贵、稀少又难照顾。

价格高昂：根据调研机构 Yole，HBM 芯片的平均售价比传统 DRAM 芯片高出五倍之多 [3]。

产能不足：时下产能严重不足，截至 2024 年底所有的产能皆已满载。

散热难题：由于 HBM 中内存 die 的堆叠结构，随着高带宽高容量而来的就是散热的难题。若有更好的方法处理 HBM 产生的热量，说不定能在 HBM 上用上更高的内存频率，藉此再将其带宽推升一步。

jlos4pnuooo6405715929.png

HBM 市场概况及发展市场份额：HBM 的市场份额主要由内存的三大巨头 SK Hynix （SKH）、Samsung、Micron 占据。技术演进：在 JEDEC 规范下 HBM1 到 HBM3E 的汇流排宽度一直都维持在 1024 bit，主要规格演进还是在 I/O 速率的增加及堆叠层数增加上。未来发展：未来的 HBM 还是会继续追加更高的 I/O 速率及更高层数的堆叠以达到更高带宽及容量。在 HBM 是以堆叠 DRAM die 为结构的基础下，三大厂间的角力从 DRAM 的制程微缩拓展到 TSV 技术与先进封装技术的竞赛 [4]。
0 o# ^$ k9 h# h1 _* s4 [# D& J

qdncbvvmpfw6405716029.png

; ]5 o! ^! O' C; l& Q& C( ?2 p
" u, T, N- R9 q' X) W7 m! ?( E

ul1p5c2mbdl6405716129.png

9 G3 T' d; x" W4 r

pt15lysh5o16405716230.png

HBM4 的未来展望更大的通道宽度：时下的 HBM 效能显然还不够用。未来 HBM4 可能会应用上 2048 位元的通道。技术挑战：在有限的芯片面积下增加硅通孔数量与键结凸块数目并缩小键结凸块间距/大小将是一个不小的挑战。更多可能性：未来 HBM 的竞争格局已不再局限于单纯的制程微缩，还有更多的可能性值得去探索，例如发展更先进的 die 堆叠技术以及芯片硬件架构上根本的进化。
* T+ a9 o" T3 u$ k& W9 W3 Z$ h& a

ae1msf2zokz6405716330.png

5 \5 H0 C; c9 Q5 t# l
5 {+ ]; ]) i% e" ?

lubnlsgghnh6405716430.png

. y6 w. f; w" E6 o结语接下来的十年，AI 相关芯片的发展将会是半导体产业最大的驱动力，而 HBM 在冯·诺伊曼架构下始终是目前的最优解，势必也会随着 logic 的脚步趋于客制化。尽管现在 SKH 领导 HBM 市场，但未必不会出现后来居上的黑马。让我们拭目以待！
参考来源[1]https://www.techtarget.com/whatis/definition/von-Neumann-bottleneck[2]https://news.skhynix.com/semiconductor-back-end-process-episode-4-packages-part-2/[3]https://www.techpowerup.com/322151/hbm-prices-to-increase-by-5-10-in-2025-accounting-for-over-30-of-total-dram-value[4]https://seekingalpha.com/article/4701346-micron-benefiting-from-strong-ai-based-hbm-packaging-growth
0 O! D9 O5 K- }7 H! D- END -
& Y1 ]( @/ f+ F2 E( r0 t0 @( L
软件申请我们欢迎化合物/硅基光电子芯片的研究人员和工程师申请体验免费版PIC Studio软件。无论是研究还是商业应用，PIC Studio都可提升您的工作效能。
& {% z. r4 t$ v点击左下角"阅读原文"马上申请
- j8 b5 o) q/ Y' f9 H3 L. f; A3 d
  |) M. G& G( Y) v% [+ `% e9 `5 c欢迎转载
6 O. L# [3 O6 Y$ h0 A& r9 O. U
, ?5 {5 x4 v# P' L* t: Y转载请注明出处，请勿修改内容和删除作者信息！

  J8 H+ S! @2 ^( ^% `7 a
2 U+ u: l7 D/ u  A, P, |/ c
1 V5 |! y) W+ K8 R, Q+ D

aqwjdnsqmer6405716530.gif

3 Y/ P: K; I# |/ k9 U6 F关注我们

9 y* T1 e4 H: p

6 V: t, O8 @8 a& ]. q2 |1 l 5sxlwhwwz2p6405716630.png

: a" t( _  O0 H, z e2quh0wqoyq6405716730.png , @! x. e, U0 g

5lvvzxrsk436405716830.png # p$ b- D. F* x! I% X5 Q

                     


  z3 d  Q$ H8 P
: m7 s. I, j+ D& W' N5 q

! y2 z1 l. c& ~" d' C% x  T; D+ n
关于我们：
深圳逍遥科技有限公司（Latitude Design Automation Inc.）是一家专注于半导体芯片设计自动化（EDA）的高科技软件公司。我们自主开发特色工艺芯片设计和仿真软件，提供成熟的设计解决方案如PIC Studio、MEMS Studio和Meta Studio，分别针对光电芯片、微机电系统、超透镜的设计与仿真。我们提供特色工艺的半导体芯片集成电路版图、IP和PDK工程服务，广泛服务于光通讯、光计算、光量子通信和微纳光子器件领域的头部客户。逍遥科技与国内外晶圆代工厂及硅光/MEMS中试线合作，推动特色工艺半导体产业链发展，致力于为客户提供前沿技术与服务。
) V) J. M" F1 I9 R4 I4 x2 P+ L
( f+ e5 b. s6 R8 o3 nhttp://www.latitudeda.com/
（点击上方名片关注我们，发现更多精彩内容）