IEDM2024 | AI加速器硬件的发展与未来

逍遥设计自动化

1
核心架构进展
AI加速器的基础架构经过多代硬件实现已显著发展。现代加速器采用张量核心、高带宽存储器和专用互连的复杂组合。架构通常采用分层存储系统，具有多级缓存以优化数据移动并减少能耗。
. \, `& E& U; O9 W! j% x

ji5u4rk0vol64046319236.png

4 s1 `3 H: h. a

2w05twwilvi64046319336.png

% f+ Y7 @# n4 R/ _. v0 d$ e4 O图1：矩阵乘法流水线和多个处理单元的激活函数的AI计算架构详细分解图。
" q7 l8 x6 ]5 U5 c) F: J; W& \. i
这些加速器的计算核心基于张量核心架构。这些核心专为混合精度矩阵运算设计，实现FP16和INT8计算路径。最新一代的张量核心(如NVIDIA Blackwell中使用的)采用微张量缩放浮点格式，在保持数值稳定性的同时实现更高效的计算。

2
先进的量化技术
* I; J, v& ^! b- B' m量化已成为AI加速器的关键优化技术。VS-Quant(向量缩放量化)方法在这个领域代表了重要进展。该技术采用两个不同的缩放因子：
# M3 G% B3 \- a& S4 }

ffukoycwhjc64046319436.png

; G; n0 B% {* ]: X- L, i图2：VS-Quant架构展示了细粒度每向量整数缩放因子和粗粒度每矩阵浮点缩放因子的双缩放因子方法。

实现使用细粒度每向量整数缩放因子，结合粗粒度每矩阵浮点缩放因子。这种双缩放方法与传统方法相比显著降低了量化噪声。VS-Quant的数学基础可以表示为：

p35mvzlxh3e64046319536.png

( g7 j6 }& Q8 }$ l8 X其中wq和aq表示量化权重和激活，而sw和sa是相应的缩放因子。

5 B4 Y( U4 v. G% E5 ^% B4 _0 v3
存储系统架构
# Z( C" ?* [* e' \6 U现代AI加速器的存储层次结构实现了复杂的多级系统。在最高层，HBM3e存储器提供高达8 TB/s的带宽。存储系统包括：
1 `! v' i& `! {( L7 h) H9 q3 |

ijuepfcpfxb64046319636.png

9 r6 w# q4 h% ]3 C图3：HBM3e和片上存储系统集成的AI加速器存储层次结构详细视图。

0 @$ D' p* D& F/ J6 D7 \7 z内部存储架构使用多级缓存，具有专用的权重和激活暂存存储器。这种层次结构方法最大限度地减少了数据移动，这占系统能耗的很大一部分。通过精心编排数据移动模式，近期实现已接近理论极限的存储带宽效率。
) j. y/ Y2 g$ N
5 t/ L/ J$ {, M; L. j! v* i4
并行化和扩展
) J2 k+ y# Y6 R. H, ]& v+ T7 Z现代AI加速器在多个维度实现了复杂的并行化策略。3D并行方法结合了：
0 p- b, R4 O; K

24r2i42urew64046319737.png

7 p6 e( C/ z% e# n, ^- N图4：张量、流水线和数据并行执行模式之间交互的3D并行化图示。
% ]4 _3 n1 C) [9 e& L; W$ s. n$ T9 U
张量并行维度将单个操作分散到多个处理单元。流水线并行将神经网络分段到不同的加速器单元，而数据并行在多个设备上复制模型。这种多维方法实现了对非常大模型规模的高效扩展。
2 l$ P( c8 j, ]! ?
5
功率和热管理
随着AI加速器突破硅技术边界，先进的功率管理变得极其重要。现代设计实现细粒度功率门控和动态电压频率调节。热设计必须处理超过400W/cm2的功率密度，需要复杂的散热解决方案。
  D" `$ c8 V5 s, a& R

fmxyi1q3wdf64046319837.png

图5：先进热管理系统和供电网络集成的下一代散热和供电架构。

" D4 v, e# g1 a" \* J/ K6 Q6 G电源分配网络实现多层优化，包括：
改进的封装基板设计，用于提高电流传输
集成电压调节器，用于降低功率分配损耗
% W  k4 x6 z* |先进的导热界面材料，用于增强散热

6
下一代技术
4 G8 |: J  K# t1 wAI加速器的未来在于多项新兴技术的集成。硅基光电子集成提供了显著提高互连带宽和能效的潜力。这些技术的实现需要仔细的协同设计，先进的封装技术将实现异构芯片技术的集成，将高性能逻辑与密集存储结构相结合。这些组件的垂直集成需要复杂的热管理和供电解决方案。
7 x8 Q: E, m- N; w5 `
$ y3 l0 H) v2 j4 m7
7 w  v6 c3 v, M! b! ?3 L性能扩展和效率
; U0 U4 V  ]3 d, AAI加速器的性能演进显著，过去十年显示出指数级的改进：
4 k; ]0 c: D# t1 C! S% r# U* J: N

kyh1ag2z0kg64046319937.png

$ p  `; o$ G: g3 J' o0 Y图6：展示从早期实现到当前最先进设计的AI加速器性能演进图。

近期实现已在INT8运算中实现超过95 TOPS/W的计算效率。这种效率通过硬件和软件的精心协同优化实现，包括先进的量化技术和复杂的工作负载调度算法。

0 q4 O$ j" c* r4 J8
* j: q) J1 q- S8 L7 C结论
" }/ N8 {: ?6 x* h0 V4 D  j7 d0 _AI加速器硬件通过多项技术创新的集成持续进步。先进架构、复杂量化技术和新兴制造技术的结合实现了持续的性能扩展。未来发展需要从器件物理到系统架构的多个领域进行精心协同优化，以保持当前的性能提升轨迹。

xni1jay355q64046320037.png

! r( [: a8 k0 O0 @4 Y: v. J图7：总结AI加速器发展中的关键技术进展和未来挑战。

参考文献
[1] B. Khailany, "AI Accelerator Hardware Trends and Research Directions," in IEEE International Electron Devices Meeting (IEDM) Short Course, SC2.2, Dec. 2024.
END
/ H9 E' \) Z) @
软件申请我们欢迎化合物/硅基光电子芯片的研究人员和工程师申请体验免费版PIC Studio软件。无论是研究还是商业应用，PIC Studio都可提升您的工作效能。
1 M  V( w. F/ p; B( q点击左下角"阅读原文"马上申请

欢迎转载
+ H2 d' r/ a! e$ t
转载请注明出处，请勿修改内容和删除作者信息！



% K8 n/ S+ L! y: {' S. Q9 ~6 |

0kbnzlmbp4t64046320137.gif

, \: L! B  ^' O9 t( Y" }8 q3 C" C6 W/ R关注我们
. w) R# ^% t# C% }
' M0 u7 H  n  Q* \. v

nefa5ehu5u064046320237.png

ad3bfvt0ykh64046320337.png

5 ^! T$ M) @* v; S( [ t31rbq2u0sw64046320437.png / Y% W4 n- [; q/ L$ q

                     

* T3 C! z) T% w

关于我们：
3 e0 T$ j& W% H( U, m& B深圳逍遥科技有限公司（Latitude Design Automation Inc.）是一家专注于半导体芯片设计自动化（EDA）的高科技软件公司。我们自主开发特色工艺芯片设计和仿真软件，提供成熟的设计解决方案如PIC Studio、MEMS Studio和Meta Studio，分别针对光电芯片、微机电系统、超透镜的设计与仿真。我们提供特色工艺的半导体芯片集成电路版图、IP和PDK工程服务，广泛服务于光通讯、光计算、光量子通信和微纳光子器件领域的头部客户。逍遥科技与国内外晶圆代工厂及硅光/MEMS中试线合作，推动特色工艺半导体产业链发展，致力于为客户提供前沿技术与服务。

, m- `% \- C/ `http://www.latitudeda.com/
（点击上方名片关注我们，发现更多精彩内容）