Hot Chips 2024 | IBM Telum II 处理器和 Spyre 加速器推动企业计算中的人工智能发展

逍遥设计自动化

引言
# Q  s) H8 ]6 h+ |) _! h( S( A在企业计算领域不断演进的背景下，IBM 通过其最新产品——IBM Telum II 处理器和 IBM Spyre 加速器芯片继续推动创新的边界。这些尖端技术旨在满足商业应用中人工智能（AI）日益增长的需求，提供性能、效率和安全性。本文将帮助了解这些新技术的细节及其潜在影响，探讨这些创新如何改变企业计算格局。

* a, o# ]# g8 B
2 K. ~# G( ~5 F- CIBM 大型机的力量
在深入探讨新硬件的具体细节之前，了解 IBM 大型机在当今金融生态系统中的关键作用非常必要。根据最新研究，估计 70% 的全球交易（按价值计算）通过 IBM 大型机进行处理。这一惊人的统计数据凸显了大型机技术持续创新对支持全球经济的重要性。

此外，IBM 大型机以可靠性著称，可用率高达 99.999999%。这种可靠性对于需要持续运行且无法承受系统故障的企业来说极为关键。

2 w$ k) |0 T8 r  T; p
IBM Telum II 处理器简介
/ V+ s% z8 J( V/ O1 `$ w0 OIBM Telum II 处理器代表了大型机计算技术的重大飞跃。设计用于支持每秒数百万次交易的 AI 处理，这一能力在当今数据驱动的商业环境中变得越来越重要。

Telum II 的主要特点
7 ]6 E# u( J6 Z, Y1. 增强的中央计算复合体：Telum II 比前代产品有多项改进，包括：
5 F* i8 k, D7 f% y2 {0 V

分支预测增强

重命名寄存器容量增加（从 128 增至 160）

改进的存储回写和地址转换

面积减少 20%

功耗降低 15%
  ]6 h# @+ q) g2 o6 V
  F  J7 s4 F# e1 n1 ^2. 扩展的缓存系统：处理器具有：

10 个 L2 缓存，每个 36MB，访问时间 3.6ns

360MB 虚拟 L3 缓存，访问时间 11.5ns

2.8GB 虚拟 L4 缓存，访问时间 48.5ns

片外带宽提高 30%

Drawer 到 Drawer 的加密，增强安全性

2zhuxnbcbyr64015583552.png

图 1：说明 Telum II 中央计算复合体和 L2 缓存系统的改进，突出了处理能力和内存访问的显著增强。
2 d6 Z: j2 R) _4 v1 i1 ^
3. 先进的制造工艺：Telum II 采用 5nm 技术制造，实现：
* Q. M1 Y  d; c& ]/ t

每核心最高 5.5 GHz 时钟速度

插槽性能提升 20%

处理器功耗降低 18%

# u  o% X3 m+ C) J. |4. 创新的电压控制：处理器incorporates一个复杂的电压控制回路系统，包括：
, `, x/ X3 Y- w4 \5 `/ \; c- S

细粒度电压测量线路

工作负载监控功能

与电源转换子系统紧密耦合

/ N: v) K( X- N! p3 j
8 m0 C: Z4 x0 d. N6 _

jy5lxsi4qsu64015583652.png

图 2：展示Telum II 电压控制回路实现的效率提升，说明在各种工作负载利用率下的较低功耗。
! F" S& w) D$ G
5. 片上数据处理单元（DPU）：Telum II 具有专用 DPU 用于 I/O 加速，包括：

4 个处理集群

每个集群 8 个定制微控制器

与整体缓存系统的连贯连接

专用 I/O 加速逻辑

队列管理器，用于高效的工作调度和传输
1 N$ z8 W2 g# u" l6 N! m
& Y% Q- F8 E8 ]8 Y& Y# `

ftbclrxp5gi64015583753.png

4jcjb31ye1c64015583853.png

图 3：概述片上数据处理单元（DPU）的结构，突出其组件和互连，用于高效的 I/O 处理。
4 Y) q, o- V# l8 ?& \* B2 M' W  ?
) R; I( f7 l+ t* I# c) q6. 大规模扩展 I/O 子系统：Telum II 支持：
% B3 p& j. z! w+ \8 w7 V

在一个连贯的 SMP 系统中最多 32 个处理器

12 个 I/O 扩展 Drawer，每个有 16 个 PCIe 插槽

单个系统中总共最多 192 个 PCIe 卡

5 U$ O  b- o+ O1 j. t+ ~Telum II 中的 AI 加速
Telum II 最显著的进步之一是其增强的 AI 能力。处理器包含针对传统 AI 模型优化的片上 AI 加速器，能够支持各种企业用例：

清算结算

合规检查

保险理赔处理

欺诈检测
' ?! U' m& H7 s4 v8 O7 P& i
1 p5 g) C/ R& Y1 z6 s7 ~$ uTelum II 中的 AI 加速器提供：

每芯片 24 TOPS（每秒万亿次运算）

每 Drawer 192 TOPS

每系统 768 TOPS

作为 CISC 指令集成，实现无缝操作

支持 INT8 和 FP16 数据类型

hqgvu5rpc1z64015583953.png

图 4：展示Telum II 处理器的 AI 加速能力，突出其 TOPS 性能和系统集成。
IBM Spyre 加速器简介
1 K& ~$ L3 }' _/ F% B; f+ M5 }Telum II 的片上 AI 加速器令人印象深刻，但 IBM 通过引入 IBM Spyre 加速器进一步推进了 AI 加速。这种专用芯片旨在处理更复杂的 AI 模型和工作负载，补充了 Telum II 的能力。
' k" ^  E( k& G# B+ Q0 E5 m
% Q$ s( y2 _4 m3 h. ^IBM Spyre 加速器的主要特点
1. 强大的性能：Spyre 加速器提供：

超过 300 TOPS 的计算能力

75W 功耗，采用 PCIe gen5 x16 适配器

128GB LPDDR5 内存

2. 创新的核心设计：加速器具有：

32 个核心，每个配备 2MB 暂存器

55%+ 有效 TOPS 利用率

独特的 "corelet" 结构，用于高效数据移动
0 l3 ^& }3 h0 w$ N5 m% U& [
7 d" i: v8 Y' P1 U+ C3 |4 v. P- f* I
) u; w( Q0 P& N5 P. O6 P

op3scbrwkuf64015584053.png

sgplf3bmnx464015584154.png

4 s8 l5 Q+ Q9 R7 X图 5：说明 IBM Spyre 加速器的核心和 corelet 结构，展示其创新设计，实现高效 AI 计算。

, h0 Y' a& F( C5 A0 M3. 高速互连：Spyre 加速器利用：
* z! A' y8 k, ]

32B 双向环连接核心

200GB/s LPDDR5 连接到暂存器环

128B 双向环连接暂存器
5 B& w  g% H8 k# ~9 S
7 X) u. W3 t, u1 j$ r+ w$ j; ~4. 可扩展性：Spyre 加速器设计用于集群部署：
* o" ?0 X/ p+ N% Q* H, g0 L

I/O Drawer 中的 8 张卡形成一个逻辑集群

每个集群总共 1TB 内存

1.6TB/s 聚合内存带宽

5. 先进制造：采用三星 5LPE 技术制造，Spyre 加速器拥有：
( K. R+ M) I+ c8 T, d

260 亿晶体管

330 平方毫米芯片面积

14 英里线路
; `. D1 Y1 [- c/ q( o, t
: I6 i; `: {& O; R

vpq3z3gl40c64015584254.png

图 6：比较 Telum II 处理器和 Spyre 加速器的制造细节，突出两种芯片使用的先进技术。
2 w+ }8 [: U/ k1 V$ E6 _% W/ ?, h, Z
AI 用例和应用
9 e# e2 X# _: Y0 NTelum II 处理器和 Spyre 加速器的结合为企业环境中的各种 AI 应用提供了支持。这些技术支持 AI 的整体方法，允许企业利用传统和更复杂的 AI 模型用于各种用例：

增强欺诈检测：通过结合 Telum II 的片上 AI 加速器和更强大的 Spyre 加速器，金融机构可以实施复杂的欺诈检测系统，实时分析交易。

生成式 AI：Spyre 加速器的高性能使其适合运行大型语言模型和其他生成式 AI 应用，为内容创建和数据分析开创了新的可能性。

代码转换和辅助：开发人员可以受益于 AI 驱动的代码建议、解释和转换工具，提高生产力和代码质量。

系统管理：AI 助手可以通过提供智能建议来简化 IT 操作，包括系统配置、故障排除和优化。

合规和风险管理：先进的 AI 功能可以应用于自动化合规检查，并增强各行业的风险评估流程。
[/ol]
2 Y+ K' p* Q4 L8 B3 y
7 u" f  Z( P: d, J2 A结论
4 j1 M7 x" }/ J. G1 jIBM Telum II 处理器和 IBM Spyre 加速器代表了企业计算和 AI 加速的重大进步。通过将高性能传统计算与专用 AI 硬件相结合，IBM 使企业能够实时应对日益复杂的挑战。

这些创新将改变金融、保险、软件开发和 IT 运营等多个行业。随着 AI 在商业运营中继续发挥关键作用，以前所未有的速度处理海量数据并做出智能决策的能力将成为关键的竞争优势。
, x2 M1 Q) V/ d9 L) i
2 t2 p) d& q* a) _IBM Spyre 加速器目前处于技术预览阶段，但对企业 AI 格局的潜在影响巨大。随着这些技术的成熟和广泛应用，可以期待看到一波新的 AI 驱动的应用和服务，重塑企业在数字时代的运营方式。

/ V$ \  o, F. h& l7 ?9 h企业计算中 AI 的发展才刚刚开始，IBM 通过 Telum II 处理器和 Spyre 加速器为未来创造了新的可能性，在这个未来中，AI 将深度集成到业务运营的每个方面，推动效率、创新和增长。

! v/ v- O4 l) z% w, O参考文献
[1] C. Berry, "IBM Telum? II processor and IBM Spyre Accelerator chip for AI," presented at Hot Chips 2024, 2024.

- END -
" c) ^) A. [) W' V, F% A9 X- [2 W
. c5 m* h; J3 [' W* H$ ~! U软件申请我们欢迎化合物/硅基光电子芯片的研究人员和工程师申请体验免费版PIC Studio软件。无论是研究还是商业应用，PIC Studio都可提升您的工作效能。
点击左下角"阅读原文"马上申请
4 N% y' ~! E, r! {1 @3 b
欢迎转载
+ p9 x) l7 i+ X
# k. |" z/ A- I8 ~5 f% B转载请注明出处，请勿修改内容和删除作者信息！
/ I1 M, K' }( e


: g( U' G8 K7 F1 m- P  v4 }' z& C

ffycofu5npf64015584354.gif

9 `7 E4 i3 `4 `. D0 t0 D6 T
关注我们
$ c* H6 d3 K+ H# S, y! [$ q
( c" x* @8 i% t8 a/ i  @4 i0 Z

5 b5 Y) s: B9 Q/ { 245mryrzfkl64015584454.png $ R3 H% E. Z* D' m$ u, B/ \

i004gsdbelk64015584554.png

nufgbjrzhns64015584654.png

                     



5 D) ?8 l" d# n关于我们：
) V6 J" L8 x2 _" E0 ^, U. S7 g深圳逍遥科技有限公司（Latitude Design Automation Inc.）是一家专注于半导体芯片设计自动化（EDA）的高科技软件公司。我们自主开发特色工艺芯片设计和仿真软件，提供成熟的设计解决方案如PIC Studio、MEMS Studio和Meta Studio，分别针对光电芯片、微机电系统、超透镜的设计与仿真。我们提供特色工艺的半导体芯片集成电路版图、IP和PDK工程服务，广泛服务于光通讯、光计算、光量子通信和微纳光子器件领域的头部客户。逍遥科技与国内外晶圆代工厂及硅光/MEMS中试线合作，推动特色工艺半导体产业链发展，致力于为客户提供前沿技术与服务。

http://www.latitudeda.com/
4 @" y" B7 j, W: u* ^6 j（点击上方名片关注我们，发现更多精彩内容）