经济可持续的AI扩展：硬件挑战和光学解决方案分析

逍遥设计自动化

引言
大型语言模型（LLM）的出现推动了AI能力的快速发展。然而，这些进步的经济可持续性取决于解决关键的硬件限制。本文基于 Ayar Labs CEO在"The Economics of AI are Failing, But We Can Fix It (With Lasers)"的见解，探讨了AI扩展面临的经济障碍，特别是从以用户为中心向基于代理的工作流转变，以及光学互连在塑造可行未来中的作用[1]。
4 W& u: A3 S6 _5 }8 r9 K
当前AI经济：盈利困境
+ s+ ~, q& ?9 ^" B" B尽管AI生态系统从芯片制造到软件开发都有大量投资，但许多参与者仍难以实现盈利。这一困境源于当前以计算为中心的硬件设计，难以满足LLM不断增长的需求。这些模型需要庞大的内存容量、强大的计算能力和高内存带宽。结果，公司不得不购买更多硬件，主要是内存控制器，仅仅为了容纳不断扩大的模型规模，从而增加了成本。
2 s( h" U7 Z3 z6 e( F$ y
更复杂的是现有互连技术如以太网和专用Fabric技术（如Infinity Fabric和NVLink）的限制。这些技术虽然提供高带宽，但在距离和可扩展性方面受到限制。这使得高效连接大量芯片变得困难，阻碍了更强大、更高效AI系统的发展。

4xgda2wfg5364096564155.png

6 V5 V- v) a% |3 T) d. D; U
从以用户为中心到基于代理的AI：范式转变
AI工作负载从用户-模型交互向代理-代理交互的演变对现有硬件基础设施提出了重大挑战。在用户-模型工作流中，用户与单一模型交互。这种工作流在硬件资源分配方面相对简单。然而，代理-代理交互（多个模型相互通信以满足用户请求）引入了新的复杂性。这种基于代理的方法虽然提供了更大的灵活性和潜在的更好结果，但大大增加了对内存、计算资源和互连带宽的需求。
) L6 g4 p) P! @0 `( \- N* q# E4 E
随着代理链中模型数量的增加，处理所需的token总数成倍增长，直接影响成本和延迟。此外，链的整体延迟必须保持在用户可接受的限度内，这进一步给系统带来压力。

例如，三个模型的菊花链使所需的token总数增加三倍，导致成本和延迟增加三倍。这凸显了迫切需要能够高效处理日益复杂的基于代理工作流需求的硬件解决方案。

fzdzoweajse64096564256.png

光IO：可扩展性和效率的途径
5 k- D, J, u: v( y2 [, ^目前基于铜的互连的局限性突显了更可扩展、更高效解决方案的需求。光学IO作为一种有希望的替代方案出现，利用光速进行数据传输。这种技术提供了显著优势：

更高带宽：光IO超越了当前以太网和Fabric技术的能力。

更高密度：这种技术能在给定空间内实现更高的带宽集中度。

更低延迟：光IO减少了数据传输相关的时间延迟。
[/ol]
" S. P: f2 l6 M! X( L5 U5 S7 D通过用光互连替代铜链路，可以将AI系统扩展到单个机架之外，以全连接配置连接数百甚至数千个芯片。这实现了更高效的资源利用，促进了更大、更复杂的基于代理AI系统的发展。

y3zongwtuht64096564356.png

# R% n( O* D# e. R' D, d+ R
超越计算：平衡硬件设计方法
AI硬件设计中对计算能力的主要关注需要与更多关注内存带宽和连接性取得平衡。这种观点的转变需要从简单增加内存转向开发优化计算、内存和互连相互作用的架构。
6 ]) ~2 d2 X) m8 H6 _
: p& ^: a* w' H+ S  i0 X0 k; G5 D一种有希望的方法涉及将光IO直接集成到芯片设计中，创建更紧密耦合和高效的系统。这可以通过光电共封装和硅基光电子等技术实现，允许芯片和内存模块之间进行高带宽通信。
6 e# m4 B8 e9 c- S) ~( g; w! e. Z0 @
示例说明
Ayar Labs示例，其中标准ASIC配备8个HBM模块，并增加了10个光IO chiplet。这些chiplet可以连接到1TB内存库，有效扩展了ASIC的内存容量。这种方法为ASIC提供了快速HBM和高带宽光学连接到大量外部内存的访问。

pu4vbnphwen64096564456.png

% k7 `/ {8 I% \6 z  i4 R8 V
9 z! d2 X: I2 H9 P+ w+ t6 S8 K6 [这种方法解决了目前阻碍AI系统扩展的内存瓶颈，使其能够处理复杂AI工作负载不断增长的需求。

ffluzv0ow3e64096564556.png

/ a* L" f5 O- z/ x& U! z上图展示了传统互连和光学IO在关键性能指标上的比较，光IO在带宽、延迟、密度和可扩展性方面都具有显著优势。
! ?& c! l& Z' _, k2 V
塑造可持续AI未来：整体视角
实现AI的变革潜力并确保其经济可行性需要一种涵盖整个AI生态系统的整体方法。这包括硬件设计、软件开发和服务交付。

关注的主要领域：

高效和可扩展的硬件架构：从以计算为中心的方法转向平衡设计，集成高带宽连接和充足的内存容量。

优化的软件框架：开发能够高效管理多个模型之间通信和数据流的框架，最小化基于代理工作负载中的延迟并最大化吞吐量。

灵活和可扩展的云基础设施：实现动态资源分配和重新配置，以适应推理工作负载的波动需求。
, _8 L" Q  e9 {/ o[/ol]
# F  a- I, ~" M) z& M7 C当前AI经济状况既带来挑战也提供机遇。现有硬件基础设施的限制突显了创新和架构范式根本转变的迫切需求。采用光IO等技术并采取更平衡的硬件设计方法可以克服当前阻碍先进AI系统发展的可扩展性和效率障碍。
" n* @% n, ?, B$ h- x# R
从用户-模型到代理-代理交互的转变虽然要求很高，但展示了AI的未来。复杂和互连系统将为广泛应用提供动力。解决与这一转变相关的经济挑战对于释放AI的全部潜力并培育更可持续和有益的技术环境至为重要。

参考文献
[1] TechTechPotato, "The Economics of AI are Failing, But We Can Fix It (With Lasers)," YouTube, Sep. 25, 2024. [Online]. Available: https://www.youtube.com/watch?v=gsW4dLYb55c.
END
" B' N$ ?, W" R* y' B7 c% k( |

& S8 y6 A) ^. u( a/ G  f# r7 d软件申请我们欢迎化合物/硅基光电子芯片的研究人员和工程师申请体验免费版PIC Studio软件。无论是研究还是商业应用，PIC Studio都可提升您的工作效能。
) f* _* q  J, c- M* H8 |) c点击左下角"阅读原文"马上申请

" A0 P! m" T7 F欢迎转载

2 |! @5 Q( @- T" ]7 B* j. n! ^& `- H转载请注明出处，请勿修改内容和删除作者信息！

6 J& {9 U& u, p9 }# T- V
/ b' O" A% p4 L0 j* A: G: p- O

lubqb5eolna64096564656.gif

关注我们

4 |( C8 ^- l  ^! X0 e

usem40bqnxv64096564756.png 3 y+ i" x& b' C. c# W+ |5 U9 k& B

, Y* H) @5 \( _# Q" P gmy3grp3eb364096564856.png 0 W2 g' m4 h, j" q4 I' B4 K: s

btweanyrm3q64096564956.png

                     



关于我们：
; Z- s- E% H( W深圳逍遥科技有限公司（Latitude Design Automation Inc.）是一家专注于半导体芯片设计自动化（EDA）的高科技软件公司。我们自主开发特色工艺芯片设计和仿真软件，提供成熟的设计解决方案如PIC Studio、MEMS Studio和Meta Studio，分别针对光电芯片、微机电系统、超透镜的设计与仿真。我们提供特色工艺的半导体芯片集成电路版图、IP和PDK工程服务，广泛服务于光通讯、光计算、光量子通信和微纳光子器件领域的头部客户。逍遥科技与国内外晶圆代工厂及硅光/MEMS中试线合作，推动特色工艺半导体产业链发展，致力于为客户提供前沿技术与服务。

http://www.latitudeda.com/
9 x2 P# @' c' E" P6 r（点击上方名片关注我们，发现更多精彩内容）