人工智能处理器架构的演变：平衡速度与效率

逍遥设计自动化

引言
4 I6 p/ i5 `1 M. ?; f: c
& o& B- K9 w- e. c  e, H随着人工智能领域的快速发展，处理器架构正在经历重大变革。进入2024年下半年，芯片设计的重点已从单纯追求速度转向在性能和效率之间取得微妙平衡。本文介绍AI处理器设计的最新趋势，重点介绍领先芯片制造商为应对可持续计算和异构集成挑战所采取的创新方法[1]。

7 }) G% W* d$ ^4 V可持续AI计算的需求
) t7 J3 L  b5 I0 [" [大型语言模型的爆炸性增长给数据中心和电网带来了压力。政府机构和公用事业公司越来越关注处理这些庞大AI模型所需的能源消耗。因此，芯片制造商被迫重新思考AI处理器设计方法，从"尽可能快的芯片"心态转向更平衡和可持续的策略。
# l) b/ K$ @+ h' c! z+ l* A7 h, B
5 s4 l- `6 `" i

fuqoqwkd12s64090412459.png

图1：AI模型在十年间的指数级增长，显示模型规模和复杂度增加了70,000倍。
  v9 z4 h! D2 @  s1 I6 e9 V# x
/ m/ y6 G  l& V* \上图展示了过去十年AI模型规模的惊人增长。随着模型变得越来越复杂，具有数百万甚至数十亿参数，计算需求已经飙升。这一趋势清楚地表明，简单地扩展现有架构不再是可行的解决方案。
1 ~1 \2 |$ s- d
AI处理器设计的关键趋势
1. 异构集成
AI处理器设计最显著的转变之一是向异构集成的转移。这种方法涉及在单个封装中结合不同类型的专用处理元素，通常使用2.5D和3.5D集成等先进封装技术。
  ~2 b% P7 ?+ _- V1 M& i3 k; @
芯片制造商正在利用Chiplet技术创建更可定制和高效的设计。通过将单一芯片分解成更小、更专业的组件，制造商可以针对特定工作负载和数据类型优化每个元素。这种方法不仅提高了每瓦性能，还允许更灵活地应对多样化的AI任务。

2. 智能数据管理
数据管理已成为现代AI处理器设计的核心焦点。考虑到训练和推理涉及的大量数据，高效的数据移动和存储对性能和能源效率都至关重要。
2 I' }2 S: D& j2 U: z: W" G
处理器现在包含复杂的数据管理系统，包括：
) }, Z( F5 ^7 R$ |5 X. q

智能缓存策略

片上暂存器用于临时数据存储

统一内存架构

近内存计算能力

这些功能有助于减少数据移动，而数据移动通常是AI计算中最耗能的方面之一。
3 Q% N( Y) w0 J
+ D3 ~- q! j; M4 u- x3. 专用计算元素
/ w+ p& V5 n5 v9 u! m+ q) wAI处理器越来越多地包含各种专用计算元素，每种元素都针对AI工作负载中常见的特定类型操作进行了优化。这些可能包括：
9 }$ K" w" V' a1 t

矩阵乘法引擎（MME）

张量处理核心

深度学习核心

矢量处理单元

通过提供针对AI算法独特计算模式量身定制的硬件，这些专用单元可以显著提高性能和能源效率。
! U6 [/ i$ J( n8 |
' K  N2 }% J4 f4. 先进的内存解决方案
内存带宽和容量是AI处理器性能的关键因素。最新设计正在整合先进的内存解决方案，如：

高带宽内存（HBM）

封装上内存配置

大型片上缓存

) Q. K7 ^7 k! Z# B# H! ~这些内存创新有助于缓解瓶颈并减少处理元素与内存之间数据移动的能源成本。

  @  E) @. `0 a9 N案例研究：领先的AI处理器设计
我们来看看最近Hot Chips 24会议上展示的一些尖端AI处理器设计，看看这些趋势如何在实践中实施。

2 J& \$ d5 p( j2 X- t/ r! ?% aIBM Telum处理器
IBM的Telum处理器展示了从原始性能到效率的转变，即使在高性能大型机系统中也是如此。主要特点包括：

8个核心，运行频率为5.5 GHz

10个36兆字节的L2缓存

新的加速器Chiplet

集成数据处理单元（DPU）用于高效I/O处理
[/ol]
! U9 |0 V) k' s6 k% VDPU的包含特别值得注意，因为它充当数据的智能交通控制器，将I/O管理的功耗降低了令人印象深刻的70%。
% k6 p9 X3 G% p. W* m

2d5ouyamzie64090412559.png

图2：IBM新的Spyre加速器架构，这是Telum处理器设计的一部分。
8 j+ ^# C5 R$ D2 x5 x4 D8 l2 g
Spyre加速器架构展示了IBM在大型机系统中为AI工作负载提供专用硬件的方法。

英特尔Gaudi 3
英特尔的Gaudi 3 AI训练加速器芯片展示了向异构集成和专用计算元素的趋势：

4个深度学习核心（DCORE）

8个HBM2e内存堆栈

64个张量处理核心

可配置的矩阵乘法引擎

统一内存空间，包括L2和L3缓存以及HBM

近内存计算能力

( [8 t% D  l8 N

gkucifawczi64090412659.png

图3：英特尔Gaudi 3 AI加速器芯片的架构。
3 q" R: m7 I6 l5 W  E
Gaudi 3架构展示了英特尔专注于在单个芯片封装中提供各种专用计算元素和高效数据管理。
- L4 `3 L( G+ C! o1 u( j7 [
AMD MI300X
* W# ?& d) G  C; T. s! gAMD的MI300X芯片专为大规模AI系统设计，体现了基于Chiplet的方法：
) f0 ~6 G4 a8 e/ R5 x

总共12个Chiplet

4个I/O裸片

8个加速器裸片

第四代Infinity架构用于Chiplet间通信

HBM3内存提供高带宽

nwnmohqewff64090412700.png

! j9 M+ }$ K$ H4 N2 v5 B( v( Z; F/ v& \图4：AMD基于Chiplet的MI300X AI芯片架构。

5 N" K( q/ B8 p( v7 FMI300X设计展示了如何利用Chiplet技术创建高度集成和可扩展的AI处理器。
. D3 q+ k1 P/ N2 s# X' _: C( `( K
% A& }5 S9 J. M( x边缘AI处理器
虽然很多关注点都集中在数据中心AI上，但边缘计算变得越来越重要。为边缘AI应用设计的处理器必须在性能、功耗效率和尺寸限制之间取得平衡。
9 J' g/ V  s9 ]- O  ?8 ^2 `
高通的Oryon SoC
3 z2 I; F6 q+ y3 B高通的Oryon SoC是一个边缘AI处理器的例子，结合了我们讨论过的许多趋势：

三个CPU集群，每个包含四个核心

两个集群用于性能，一个用于能源效率

复杂的微架构，带有8个基本解码器

大型统一二级转换缓冲区，用于高效内存管理
3 U* e" T: F1 l! m; [  I[/ol]
# _/ |) q' p5 v. p
  D: Q$ o  {1 ?, i9 ?5 o

ql5szqyrx2m64090412800.png

图5：高通Oryon SoC架构，强调了边缘AI应用的效率和速度。
! @5 j4 n6 O0 L- c5 L9 }' @. ^( \8 e
/ Z+ X" M# x1 \2 R% COryon SoC展示了如何将异构核心设计和先进的内存管理技术应用于边缘AI处理器。
+ {3 v* y# D+ w5 t
+ P1 l' t/ e  e' _2 B1 [FuriosaAI RNGD
韩国初创公司FuriosaAI开发了RNGD（发音为"Renegade"）芯片，用于边缘推理：
, z6 d) O  O8 ]- Y

张量收缩处理器设计

1.5 TB/秒的内存带宽

两个HBM3堆栈

256 MB的SRAM

48 GB内存容量
+ j% a5 a. s/ j2 e
/ C! s$ I6 {( i" }7 ^. \6 X

feus0hut4i464090412900.png

图6：FuriosaAI的可持续边缘推理芯片架构RNGD。

$ U# z8 ^7 x6 u, G" P! A3 FRNGD芯片展示了初创公司如何在边缘AI领域进行创新，专注于推理任务的内存带宽和效率。

结论
( o# ?' V9 r9 x9 g& uAI处理器架构的格局正在快速演变，驱动力是对更可持续和高效计算解决方案的需求。关键趋势包括：
! ?4 Q# G; ?0 [* K- E

使用Chiplet技术的异构集成

智能数据管理系统

为AI工作负载量身定制的专用计算元素

先进的内存解决方案，以提高带宽并减少数据移动

5 V2 V: z  J* ~1 r/ U- FAI处理器的成功将不仅取决于原始性能，还取决于在速度和能源效率之间取得平衡的能力。这种向可持续AI计算的转变将需要芯片设计的持续创新，以及软件优化和系统级集成的改进。
; C! p# z! c8 R$ E
我们探讨的来自IBM、英特尔、AMD、高通和FuriosaAI的例子表明，无论是老牌公司还是新入行者都在接受这些趋势。AI继续渗透到我们生活的各个方面，从数据中心到边缘设备，这些架构创新将在塑造人工智能和整个计算领域的未来中发挥关键作用。

4 H6 Z) B  g$ _) o* ?3 s" P2 V  X( ?参考文献
* N, T6 R) ?1 b8 K: ~6 y2 i/ Y[1] E. Sperling, "New AI Processors Architectures Balance Speed With Efficiency," Semiconductor Engineering, Sep. 4, 2024. [Online]. Available: https://semiengineering.com/new-ai-processors-architectures-balance-speed-with-efficiency/
; y% b. \  }4 g/ f7 QEND
1 Q' w! `# z6 t4 m6 \

6 w7 k/ j+ H* a0 m软件申请我们欢迎化合物/硅基光电子芯片的研究人员和工程师申请体验免费版PIC Studio软件。无论是研究还是商业应用，PIC Studio都可提升您的工作效能。
点击左下角"阅读原文"马上申请

( X# _& X: ~- e欢迎转载
9 ?+ R2 T5 X# _4 v! r& n
7 E9 p8 ?( ?9 n% f, i' }转载请注明出处，请勿修改内容和删除作者信息！
5 D; {7 Z( R; D
- O0 |! @  \! A3 X5 x
; H1 V8 S# w2 a( G* o2 u9 X& w

tstkny3jgab64090413000.gif

3 e4 j% j) h. J+ C
+ I4 a, C8 o' D+ N- x# L* ?关注我们

hvscujxequ564090413100.png

5 D5 X9 [( O0 q, Y m1o3q4hrem364090413201.png

5rebgfv1slv64090413301.png   d( n1 J) ]5 `) @+ x! q

                     

6 t6 p$ E, K+ X) t
% U% a$ B$ ]# H+ p$ [; G4 [
关于我们：
深圳逍遥科技有限公司（Latitude Design Automation Inc.）是一家专注于半导体芯片设计自动化（EDA）的高科技软件公司。我们自主开发特色工艺芯片设计和仿真软件，提供成熟的设计解决方案如PIC Studio、MEMS Studio和Meta Studio，分别针对光电芯片、微机电系统、超透镜的设计与仿真。我们提供特色工艺的半导体芯片集成电路版图、IP和PDK工程服务，广泛服务于光通讯、光计算、光量子通信和微纳光子器件领域的头部客户。逍遥科技与国内外晶圆代工厂及硅光/MEMS中试线合作，推动特色工艺半导体产业链发展，致力于为客户提供前沿技术与服务。
! g- c/ I* {0 K1 \
http://www.latitudeda.com/
5 H. Z  R8 P6 \' k+ b（点击上方名片关注我们，发现更多精彩内容）