为什么需要HBM (High Bandwidth Memory)？ o! t. A0 _7 F! B( c( U
. s8 ~( r, h5 S+ b6 |7 H% l
在生成式AI快速发展的今天，HBM这个词逐渐被更多人认识。现代生成式AI模型的参数量动辄数百亿、数千亿个，其计算架构普遍采用冯·诺依曼架构，即数据存储位置与运算核心分开，需要时再进行数据迁移[1]。
! e: u7 k, L4 k; Y( S* F: s( }% p6 Y7 r" {( ~" c
当需要搬运数以亿计的参数在运算核心与存储位置之间往返时，其消耗的能源和时间远超过数据运算本身，严重影响了整个模型的运算效率。这就是所谓的"冯·诺依曼瓶颈"或"内存墙"。因此，具备高带宽、能够在单位时间内存取大量数据的HBM成为了大型语言模型计算芯片的最佳解决方案。) G1 i5 U. e) y Y
wwstojnjajc64046309042.jpg
+ A: r. [7 T- N( S: L1 O$ H
0 U" i# m5 v) G% Q) UHBM的技术优势
6 D* |+ a5 ]5 o- V( r; F! y! ^
& f: O ]$ {5 h7 S. m- NHBM虽然没有突破冯·诺依曼架构的限制，但在很大程度上解决了传统DRAM（DDR、GDDR、LPDDR）在带宽、容量、功耗三方面难以兼顾的问题。记忆体带宽等于I/O速率（数据速率）乘以总通道宽度。/ I, A# O# P3 v0 K6 M0 V
6 L9 @4 S, p, o9 y) s& vHBM采用TSV（穿硅孔）技术，直接在内存芯片上钻孔制成导线通道，并利用微凸块将多个die堆叠。这种方式显着增加了I/O数量，使得HBM3E之前的世代均具有1024位宽，远超传统内存32/64位的规格。同时，HBM通过2.5D封装（CoWoS）技术，将DRAM die与GPU封装在同一硅中介板上，大幅缩短了数据传输路径，有效降低了能源消耗。
" z( m) N3 J2 E市场现状与未来发展' Z+ ^. \, L. M. I* g5 }
' A) k; ]% k/ Q3 i& Z
目前HBM市场格局主要由SK Hynix、Samsung和Micron三大厂商主导。SK Hynix占据50%市场份额，并成为NVIDIA H100的HBM3独家供应商；Samsung紧随其后，占据40%份额；而Micron则占据剩余10%的市场。0 o! y2 N2 j+ f1 N% f8 c
4 o" x5 X$ P( k展望未来，2024年下半年HBM3E将逐步取代HBM3，而HBM4预计将在2026年推出，可能采用2048位通道宽度。技术创新方向包含提高TSV密度、改进键合凸块技术、探索扇出式封装以及整合光电子技术等多个方面。
2 L* V! D$ ^& c
2j1uaxtlktg64046309142.jpg
: \) P2 L7 S4 U, w! o' l0 b2 q
m3vsdv1fk0e64046309242.jpg
/ S i; P( Z8 H7 w
dqbjydvbhss64046309342.jpg
& w# N. G1 O, w) w/ {; s
zwc4a4nqvme64046309442.jpg
1 W2 O; h& v* J3 D4 t( f技术挑战与未来展望' f6 \# z1 C8 }
: Z: L, B. t. K; m2 p/ n/ L随着大型语言模型参数量以约410x/2年的速度增长，当前HBM技术面临着散热问题、制程微缩的边际效应、晶圆产能限制以及成本居高不下等多重挑战。未来发展将主要聚焦于提升制程技术、改进die堆叠技术、创新硅片硬件架构以及发展特化型解决方案等方向。8 E8 p% c3 c/ w5 t& _) l
参考来源
7 ?% v. I( F4 r1 u9 Y' o- {; C
! \/ k& I+ o9 ] W/ ?[1] https://www.redef.tech/home1 ?* Q% {7 g0 {( f7 o/ b' F9 x7 M2 G4 C
END
+ \ q0 u! f1 C
r2 O" c$ C2 r5 f/ B软件申请我们欢迎化合物/硅基光电子芯片的研究人员和工程师申请体验免费版PIC Studio软件。无论是研究还是商业应用，PIC Studio都可提升您的工作效能。 d6 ?" \" ~; o7 {3 K
点击左下角"阅读原文"马上申请
. B; }" l* c- L Y; Y
. \, q* m! Q$ k2 r6 G' O欢迎转载/ x5 q9 i/ V3 s# {% e
* |% h8 N( B8 }( E" H- r
转载请注明出处，请勿修改内容和删除作者信息！' ?* z; g |# h$ u
' l' [5 ^. ]; m( _5 |) J0 n
2 M5 N4 D k! D* S' Y( m9 d. B3 {
pf1vxmodjto64046309542.gif
' R6 N: X0 |% i, |( H2 Z
2 R! F- t/ x2 \2 U
关注我们
6 i$ F9 A8 A F9 `0 \! O5 Y+ j" \3 X7 ^
6 I0 V! X9 d6 s) G
hktsscz0rgn64046309642.png
9 E& m4 h" @4 Y, J$ N. i1 }+ i$ f3 u | H$ Y+ R' }3 b7 K6 U- i
gvpcvep13cr64046309743.png
- L9 a2 H7 |! E# n6 K$ d | 7 J4 V4 K" N1 D, u
kxafb5c5w5x64046309843.png
. J# U6 u* ^4 n0 e5 y |
8 G$ ?1 |- U: n [% p8 J; Q l3 Z N4 @' Q3 r9 U( `" ?
% ^0 K3 \. h/ Z0 e; W3 b' G
$ s) m, {3 s% A2 k! X! G
关于我们：
8 N5 r3 D K1 t- b6 [+ T深圳逍遥科技有限公司（Latitude Design Automation Inc.）是一家专注于半导体芯片设计自动化（EDA）的高科技软件公司。我们自主开发特色工艺芯片设计和仿真软件，提供成熟的设计解决方案如PIC Studio、MEMS Studio和Meta Studio，分别针对光电芯片、微机电系统、超透镜的设计与仿真。我们提供特色工艺的半导体芯片集成电路版图、IP和PDK工程服务，广泛服务于光通讯、光计算、光量子通信和微纳光子器件领域的头部客户。逍遥科技与国内外晶圆代工厂及硅光/MEMS中试线合作，推动特色工艺半导体产业链发展，致力于为客户提供前沿技术与服务。
1 W% o$ q% S+ L/ |* k
; m' O0 n" @, m% B& t0 \http://www.latitudeda.com/
" m H+ O+ J4 W/ V: M6 ?# `（点击上方名片关注我们，发现更多精彩内容） | 
电子产业一站式赋能平台
窥视卡
置顶卡
变色卡
