IEDM2024 | 模块化与可扩展计算系统的发展趋势

逍遥设计自动化

引言
/ l) t+ [5 X- H/ J* y随着人工智能技术的快速发展，对计算系统提出了较高要求，推动了硬件架构和系统设计的创新。本文探讨模块化和可扩展计算系统的未来发展方向，重点关注三个核心领域：先进内存集成、混合键合互连扩展以及系统扩展能力[1]。

hub3m412ydx64011667048.png

4 L$ C0 F8 i' Z1 Q$ S; F- C1
: ?7 s" I0 c: G人工智能系统的先进内存集成
人工智能模型规模的指数级增长给内存系统带来了巨大挑战。在过去二十年中，浮点运算的增长速度是内存带宽增长速度的两倍。这种差异在大型语言模型(LLM)的发展中尤为明显，2018年至2022年间，模型规模增长了400多倍。

w5xzcej3xvf64011667148.png

图1展示了2016年至2022年人工智能模型规模的指数级增长，显示了各类人工智能模型参数数量和内存需求的显著增长。
" e# u$ H/ E- {( A2 t, M- A
& B% d% ]6 G5 ~/ R) n( w5 }/ o现代人工智能系统采用分层内存结构：
2 e  j! b6 M: N) J6 h$ Z' i片上或堆叠式缓存（基于SRAM）片上高带宽内存（HBM）大型模型使用跨多个封装的池化内存
# r. m$ s8 x0 f: U内存系统性能可通过以下关键指标评估：
内存容量（GB）面积密度（GB/mm2）带宽（TB/s）系统效率（内存 pJ/b 或 LLM的token/s/W）
; k8 g  n6 o, i( O- p2
混合键合互连技术
% e# a2 E% u; d% C混合键合(HB)互连技术在器件集成方面实现了重大突破，在带宽密度和功耗效率方面具有显著优势。

cu3nmbm4vds64011667248.png

图2展示了晶圆对晶圆(W2W)和芯片对晶圆(C2W)混合键合实现的详细截面图，显示了不同尺度下的精确对准和连接。

kxp2gznwe5b64011667348.png

7 N/ M; e: Q6 ~5 ]( w图3展示了混合键合Foveros Direct?子assembly如何通过EMIB?技术集成到更大的封装系统中，实现系统可扩展性。

' j' t5 H: R2 H) h$ f% ~混合键合的实现需要极其精确的制造工艺：
纳米级化学机械抛光控制先进的计量和检测能力小于互连节距的颗粒和残留物检测
. R% h1 d% Q7 _0 R, x- P. r+ F

hv3kfzg5lxd64011667448.png

图4展示了颗粒对混合键合可靠性的影响，显示了不同颗粒尺寸在各种节距下对连接成功率的影响。
, R2 [! Z- x! c, Q. Y( T: N) R% O
3
, ^( s. F' ]9 |; ?/ Q3 A2 t系统扩展与可扩展性
6 ?5 ^0 D4 C3 z1 P0 k% [随着人工智能模型不断增长，系统扩展需求日益增加。当前封装中的硅面积正从传统的1倍光刻视场扩展到8倍光刻视场，需要新的系统可扩展性方法。

cixwnxn5vdr64011667548.png

4 I# O3 A" y% p* O1 o+ ^! d, K3 n图5展示了未来模块化和可扩展计算系统的两个视图：(a)显示完整系统概览，(b)提供关键结构元素的详细截面图。
' j1 v2 t( Z0 b# R5 Z, W
系统扩展已经出现了几种方法：
具有后端互连拼接的单片晶圆级系统使用封装重布线层的重构晶圆级计算基于封装的多重光刻视场系统

ror510nyyj364011667648.png

图6展示了Intel? Ponte Vecchio?加速器作为当前模块化设计的示例，展示了通过2D、2.5D和3D封装实现的可扩展性。

) v  s! \6 {$ |/ N8 O! E9 \

3j5l02bpaqi64011667748.png

图7描述了带宽能量密度与互连距离的关系，突出显示了不同互连技术的局限性。

n4pmxdlxgvf64011667848.png

图8展示了模块化可扩展计算系统设计，说明了内存、计算和封装tile如何交错分布以实现最佳性能。

# W( b( Y; s) d6 m' c  b% i" @4
技术整合与未来方向

3ozq4xqbkm064011667948.png

图9对比了从传统3D焊接到先进CFET实现的不同集成技术，展示了混合键合如何在assembly和单片硅制造工艺之间架起桥梁。

, C/ h) `( n# v* U计算系统的未来发展方向在于有效整合这些技术，创建模块化和可扩展的解决方案，满足人工智能应用不断增长的需求，同时保持效率和成本效益。在这一领域取得成功需要仔细考虑供电、散热和系统级优化。

! m$ B/ c1 T  p6 H& [9 ^% W" X这种计算系统设计的演进代表了高性能计算方法的根本转变，特别是在人工智能应用方面。先进内存系统、混合键合技术和模块化扩展能力的集成为未来系统创建了基础框架，可以有效扩展，同时保持下一代人工智能工作负载所需的功耗效率和性能特征。

; }% m& v4 F" J% [3 ?/ z$ Q( ]* X参考文献
, W: h2 H; d6 t[1] Aleksov, G. C. Dogiamis, A. Elsherbini, and J. Swan, "Tomorrow's Modular & Scalable Compute Systems," in 2024 IEEE International Electron Devices Meeting (IEDM), San Francisco, CA, USA, 2024.
1 ?, K2 O. u) z3 _/ J0 V# KEND
5 |* ]9 p6 @- f- p9 Y# |' d软件试用申请欢迎光电子芯片研发人员申请试用PIC Studio,其中包含：代码绘版软件PhotoCAD，DRC软件pVerify，片上链路仿真软件pSim，光纤系统仿真软件pSim+等。更多新功能和新软件将于近期发布，敬请期待！
7 m: g  h7 B4 r( \5 E( {: k点击左下角"阅读原文"马上申请
7 v! u% t, m2 Z3 W  y4 |, ~. @/ ^
欢迎转载
( e( U. G, U4 B
" k/ g+ i* r! @6 Q# C! k转载请注明出处，请勿修改内容和删除作者信息！


! ~( ]7 p8 q9 G9 D/ R) h1 ^. r

xjwh5ztha4c64011668048.gif

; \- w3 Y8 b5 p2 b' i7 U1 x: T) F
关注我们

$ Y- o6 |) D( u! I4 g& } 5fjps44psub64011668148.png # c( F  f- x7 z

* r/ X3 ?' a/ Q/ ^ 0artgyurx0m64011668248.png

50rczev5weq64011668348.png

                     



关于我们：
深圳逍遥科技有限公司（Latitude Design Automation Inc.）是一家专注于半导体芯片设计自动化（EDA）的高科技软件公司。我们自主开发特色工艺芯片设计和仿真软件，提供成熟的设计解决方案如PIC Studio、MEMS Studio和Meta Studio，分别针对光电芯片、微机电系统、超透镜的设计与仿真。我们提供特色工艺的半导体芯片集成电路版图、IP和PDK工程服务，广泛服务于光通讯、光计算、光量子通信和微纳光子器件领域的头部客户。逍遥科技与国内外晶圆代工厂及硅光/MEMS中试线合作，推动特色工艺半导体产业链发展，致力于为客户提供前沿技术与服务。

http://www.latitudeda.com/
（点击上方名片关注我们，发现更多精彩内容）