空间变化纳米光子神经网络

逍遥设计自动化

引言

近年来，人工智能的快速发展对计算架构提出了巨大需求。虽然电子处理器按照摩尔定律持续发展，但在功耗和处理速度方面面临基本限制。光神经网络(ONNs)作为一种使用光而非电子进行计算的替代方案应运而生。本文探讨了ONNs的一项突破性进展 - 空间变化纳米光子神经网络(SVN3)，在保持超低功耗的同时实现了与现代电子神经网络相当的性能[1]。
6 S7 z9 O: @4 d3 W* F. {, d+ q

zrnh5wnaou464084416703.png

$ r3 g/ M! v- C* ]5 M光神经网络的挑战

传统电子处理器面临重大挑战：摩尔定律预测晶体管数量每两年翻倍，而神经网络规模每六个月就翻倍。这种差异导致计算性能出现瓶颈，主要受限于功耗而非晶体管密度。
. W' q0 q8 [* O2 K

cdw2lys5jrt64084416804.png

4 h- [8 ]8 C7 Y0 L7 t3 \图1：空间变化纳米光子神经网络概述。图示包括(A)光电网络架构，(B)大角度变化PSFs，(C)核心因子分解方法，(D)与AlexNet的性能比较，(E)空间变化核心可视化。
; `8 w4 u- z1 m  h- ^
光计算相比电子系统具有多个优势，包括更高的吞吐量、更低的延迟和更低的功耗。但现有光神经网络在实现识别精度方面受到限制，难以与现代电子神经网络相媲美。大多数高性能ONNs需要相干照明，这使其难以在自然光照条件下集成到相机光学系统中。
神经网络设计创新
2 x6 X* E3 N' [0 \$ w9 X
" h/ u. a+ d+ K. `' _( ZSVN3通过将并行光学计算嵌入平面相机光学系统引入了新方法。该系统在图像捕获期间、在传感器进行任何测量之前就执行神经网络计算。主要创新在于使用大型核心并实现通过低维重参数化学习的空间变化卷积网络。
/ H3 S  S7 V9 N; y$ g4 _: E5 c

x4t4fztunzs64084416904.png

图2：SVN3的实验验证。图像显示(A)平面相机原型，(B)实验设置，(C)空间变化PSF可视化，(D)实验测量与真实值的比较。
: p* J; l- o4 ]
& {7 h, z0 e9 ]; r7 m& \: r  J该系统由超透镜阵列纳米光子前端和轻量级电子后端组成。超透镜阵列包含50个针对525 nm附近的非相干光优化的超透镜元件。每个超透镜诱导的波前调制可以用入射场与单个器件点扩散函数的光学卷积表示。
& i- I( `7 H5 @3 Y. I技术实现

; X( U3 x* S8 N. \SVN3采用大尺寸角度变化PSFs作为卷积核心构建大核心空间变化(LKSV)卷积层。虽然这类层在传统神经网络中计算量大，但研究人员开发了使其实用的技术：
& K, `8 z$ N9 N8 |% Q大核心因子分解：将15×15卷积核心重参数化为七个3×3核心的堆叠
低秩空间变化重参数化：通过核心基的加权线性组合实现空间变化
* a* @" J8 C% `; ?6 S; V
' U9 ]! W/ ^2 B) w8 H

3ldidebe5bp64084417004.png

. M' V* H, K+ r! v2 ^  ~图3：实验测量显示(A)与真实特征通道相比的定性评估，(B)验证方法有效性的混淆矩阵。
性能和结果
  j+ X2 i/ _9 j
2 ?2 V4 c" n7 KSVN3实现了显著的性能指标：
在CIFAR-10上达到72.76%的准确率，超过AlexNet(72.64%)
3 S- p5 W2 p6 B3 l2 |+ c电子参数减少四个数量级
超过99%的计算光学完成，零能耗
* [5 q# r7 L: ?/ r5 d9 {6 p保持仅4mm长度的紧凑形态

* \- I7 c1 i7 H4 A" [1 H) h) Q( y

fateqn4tf2j64084417105.png

图4：展示CIFAR-10测试集随机样本的概率预测的实验分类结果，展示了系统在物体识别方面的准确性。
多功能性和应用

该系统在不同数据集和任务上展现出显著的多功能性：
0 i1 @6 y  I6 s2 h* X2 L! Y7 g

ua2mrkem1hw64084417205.png

  J9 n5 @! g1 V: E/ K; i0 }图5：验证SVN3作为多功能相机的性能，显示(A)ImageNet上的特征图，(B)在不同数据集上的识别性能，(C)语义分割能力。

SVN3在各种数据集上实现了具有竞争力的性能：
5 T8 W+ \& _( l) \: wImageNet上达到48.64%的top-5分类准确率
* o$ q& B; ^$ M3 V0 h3 E! g在CIFAR-100、Flowers-102、Food-101和Pet-37数据集上达到或超过AlexNet的性能
) f" R) Y! h) x$ a在PASCAL VOC上实现65.73%的像素准确率的语义分割
未来发展

% j/ z# A( ~( q这项光神经网络的突破代表了实用光子人工智能系统的重要进展。结合紧凑的形态和与自然光照条件的兼容性，使用光进行复杂计算的能力为边缘计算应用提供了新方向。未来的发展可能实现高分辨率、多通道光计算，进一步缩小光子和电子人工智能系统之间的差距。

& i% _/ g! A2 d1 j) x9 T1 H8 s1 U8 OSVN3的成功表明，光神经网络可以在保持光计算优势（超低延迟和功耗）的同时，实现与现代电子网络相当的性能。这一进展可能推动低功耗边缘计算的应用，使薄眼镜或微型机器人中的计算，以及降低用于神经网络训练的数据中心功耗成为现实。
# r0 z# i' L( l! B参考文献
5 F/ h9 Y" E2 I+ s! q7 F/ F* P8 u
. y/ I0 a+ q4 H" B4 R' Q" b5 d. W[1] K. Wei, X. Li, J. Froech, P. Chakravarthula, J. Whitehead, E. Tseng, A. Majumdar, and F. Heide, "Spatially varying nanophotonic neural networks," Sci. Adv., vol. 10, no. eadp0391, pp. 1-9, Nov. 2024.
END
软件试用申请欢迎光电子芯片研发人员申请试用PIC Studio,其中包含：代码绘版软件PhotoCAD，DRC软件pVerify，片上链路仿真软件pSim，光纤系统仿真软件pSim+等。更多新功能和新软件将于近期发布，敬请期待！
点击左下角"阅读原文"马上申请

1 h) U3 c) O+ q6 f欢迎转载
4 `7 I  l; Q: g+ O( }! E
9 l4 g; R+ T3 \" ?  @! p转载请注明出处，请勿修改内容和删除作者信息！


$ t( l6 X1 P: n6 {- n6 d2 h1 d) m
- ?9 }/ g, n6 X$ n

smcsuht1rth64084417305.gif

关注我们
! `  W2 K% F" i% n

3ypk0toslge64084417405.png / b# Z- y2 n, n1 E: U  H# Z3 B" Z

, |' V9 E% _+ ]  n wfjx4eie3iq64084417505.png . t- ^  k) N* T! D" w$ m: [

+ N" ]. n3 g  u. K5 T( v 4cirh2mfils64084417605.png

                     

9 @; ~! y# S8 k# e

关于我们：
深圳逍遥科技有限公司（Latitude Design Automation Inc.）是一家专注于半导体芯片设计自动化（EDA）的高科技软件公司。我们自主开发特色工艺芯片设计和仿真软件，提供成熟的设计解决方案如PIC Studio、MEMS Studio和Meta Studio，分别针对光电芯片、微机电系统、超透镜的设计与仿真。我们提供特色工艺的半导体芯片集成电路版图、IP和PDK工程服务，广泛服务于光通讯、光计算、光量子通信和微纳光子器件领域的头部客户。逍遥科技与国内外晶圆代工厂及硅光/MEMS中试线合作，推动特色工艺半导体产业链发展，致力于为客户提供前沿技术与服务。
3 {# u6 V$ t3 i, o  {& j
- Z& G$ f6 h* c, Phttp://www.latitudeda.com/
（点击上方名片关注我们，发现更多精彩内容）