【研究背景】
随着人工智能、智能机器人及自动驾驶等技术的快速发展,新一代人工视觉系统对图像感知、信息存储和实时处理能力提出了更高要求。传统机器视觉系统通常采用感知、存储与计算相互分离的冯·诺依曼架构,视觉信息需要在图像传感器、存储器和处理器之间频繁传输,面临数据传输冗余、处理延迟和系统功耗较高等问题。受生物视觉系统感知与信息处理协同机制的启发,集光信号感知、信息存储和计算功能于一体的光电忆阻器,为构建高集成度、低功耗的类脑人工视觉系统提供了新的技术途径。然而,如何实现光电忆阻器从单器件功能向大规模阵列集成及复杂视觉信息处理的拓展,仍是该领域面临的重要挑战。
【本文亮点】
1、构建“单器件物理—突触动力学—阵列架构—计算框架—视觉应用”全链条分析框架,强调人工视觉芯片并非单器件的简单堆叠,其光电调制模式、弛豫时间常数、阵列拓扑及外围电路共同决定了系统级感存算效能。
2、系统比较光电协同调控(细分电控光辅助、光控电辅助、光增强电抑制与电增强光抑制四类)与全光调控的工作机理,阐明快/慢弛豫时间常数(τ1/τ2)如何构建时间频率滤波窗口,并对比简单线性阵列、无源交叉阵列与有源晶体管辅助阵列(1T1OEM)的集成权衡。
3、归纳光电忆阻器阵列在原位感知存储、视网膜级图像预处理(去噪与对比度增强)及高级认知视觉(图像分类与动态轨迹识别)中的代表性应用,明确区分离线软件模拟与片上 CMOS 硬件实测边界,并从材料、器件、工艺与架构四个维度展望未来研究方向。
【内容简介】
该论文从光电忆阻器的物理机制出发,系统梳理了器件调控方式、人工突触特性、阵列集成架构及神经网络计算框架,重点总结了光电忆阻器阵列在视觉感知与记忆、图像预处理及高级视觉信息处理等方面的研究进展,并对未来人工视觉芯片的发展方向和关键技术挑战进行了分析与展望。
在器件物理与功能调控方面,该综述系统归纳了光电忆阻器的主要工作机制,包括缺陷态电荷俘获与释放、离子迁移、导电细丝形成与断裂以及界面势垒调控等,重点分析了光电协同调控与全光调控两类工作模式。其中,根据光、电刺激对器件电导状态的调控作用,进一步将光电协同调控模式划分为电控光辅助、光控电辅助、光增强电抑制和电增强光抑制四种类型。同时,综述介绍了光电忆阻器在兴奋性与抑制性突触响应、双脉冲易化以及短时程和长时程突触可塑性等方面的研究进展,阐明了器件内在载流子动力学与光响应记忆特性在类脑视觉信息处理中的作用。
在阵列集成与计算架构方面,该综述重点介绍了线性阵列、交叉阵列以及晶体管辅助忆阻器阵列等不同集成结构,分析了不同架构在集成密度、读写稳定性、串扰抑制及并行计算能力等方面的特点与局限。在此基础上,系统讨论了光电忆阻器阵列与全连接神经网络、卷积神经网络及物理储备池计算等算法框架的协同设计方法,揭示了器件电导调控特性、阵列结构与视觉计算任务之间的关联,为实现从器件物理特性到阵列级计算功能的有效映射提供了参考。
在人工视觉应用方面,该综述按照视觉信息处理层级,系统总结了光电忆阻器阵列在原位图像感知与存储、图像去噪与特征增强、动态目标识别及复杂图像分类等方面的代表性研究成果。通过利用光电忆阻器的光响应记忆和可调电导特性,阵列能够在感知端直接完成部分信息存储与预处理操作,减少视觉数据在不同功能单元之间的传输需求。进一步结合神经网络与物理储备池计算,可将视觉信息感知、特征提取和识别计算相结合,为发展高效的感存算一体化人工视觉硬件提供支撑。
最后,该综述从材料稳定性、器件一致性、阵列规模化集成、CMOS工艺兼容性及计算系统能效等方面,分析了光电忆阻器人工视觉系统面临的关键挑战,并展望了高密度阵列、三维异构集成、选通器件协同设计及低功耗神经形态计算等发展方向。该综述建立了从光电忆阻器物理机制、阵列集成到视觉系统应用的系统性技术框架,为面向边缘智能感知的新型人工视觉芯片研究提供了参考。

相关成果发表于材料科学领域顶级综述期刊《Materials Science and Engineering: R: Reports》。中国科学院半导体研究所黎弘毅为论文第一作者,李哲新、娄正和王丽丽为共同通讯作者,该研究得到国家自然科学基金等项目资助。
【图文导读】

图1、基于光电忆阻器阵列的人工视觉系统技术框架。
如图1所示,光电忆阻器阵列构建人工视觉系统的技术路线贯穿四个核心维度:在器件层面,通过光电协同与全光调控实现光感知、非易失性存储与原位逻辑计算;在仿生突触层面,复现兴奋性/抑制性突触后电流(EPSC/IPSC)、双脉冲易化(PPF)及短时程向长时程记忆(STM-to-LTM)演化;在集成阵列层面,由简单线性阵列、交叉阵列向晶体管-忆阻器集成阵列演进;最终结合人工神经网络(ANN)与感存算一体架构,支撑从低级图像去噪到高级动态动作识别的多层级视觉任务。

图2、光电忆阻器的工作示意图、典型材料晶格结构、特征开关曲线及微观阻变物理机制(能带/陷阱态调制与导电细丝演化)。
如图2a–c所示,光电忆阻器一般采用两电极结构,可协同响应光脉冲与电脉冲序列;以 As 掺杂与本征空位(VO)调制的 In2S3-xAsx 晶体材料为例,连续光脉冲驱动非易失性多态电导增强(光写入),而对称电压脉冲触发多级电导抑制(电擦除)并保持高稳定性。图2d–e进一步揭示了两类典型微观阻变范式:图2d 展示了基于能带弯曲与深能级 DX 中心缺陷态电荷俘获/去俘获的连续界面/体相调制,光照使中性空位发生光电离并释放自由电子,载流子复合需克服电子俘获激活势垒,从而赋予器件长寿命持续光电导(PPC);图2e 展示了局域导电细丝(CF)动力学,由活性金属阳离子(如 Ag+)或阴离子空位在纳米尺度渗流通道内的随机迁移与氧化还原反应主导,驱动低阻态(LRS)与高阻态(HRS)之间的高对比度切换。

图3、四类光电协同调控忆阻器的分类及典型器件微观机理示意图。
如图3a所示,依据光、电刺激在置位(SET)与复位(RESET)过程中的主导与辅助角色,光电协同调控忆阻器可划分为四类:(i)电控光辅助、(ii)光控电辅助、(iii)光增强电抑制与(iv)电增强光抑制。图3b–f 展示了各类模式的代表性器件机理:包括 ReSe2/BST:YSZ 铁电异质结中向左铁电极化与光照协同降低肖特基势垒(图3b)、MXene-ZnO 器件中光生电子俘获形成内建电场促进氧空位导电桥生长(图3c)、ITO/ZnO QDs/CdSe QDs/ZnO QDs/Al 全量子点异质结界面载流子俘获(图3d)、有机分子激发态分子内质子转移(ESIPT)光致偶极增强内建电场(图3e),以及氧化锡纳米棒阵列基于负光电导效应(NPC)的电置位与光复位机制(图3f)。

图4、全光调控忆阻器的工作模式、等离激元及氧化物典型器件结构与波长依赖微观物理机制。
如图4a–c所示,全光调控忆阻器无需外加电偏压,仅依靠不同波长的光刺激即可实现完全可逆的双向电导“置位”与“复位”(如基于 IGZO 或等离激元纳米复合材料的器件)。图4d–g 阐明了全光调控的微观机制:一方面,在 ZnO/ZSO 与叶绿素异质结等体系中(图4d–e),短波长高能光子(如 405 nm 或 430 nm)驱动空位光致电离并降低界面势垒,实现光置位与兴奋性突触增强(EPSC),而长波长低能光子(如 633 nm 或 730 nm)激发电子再俘获与空位去电离,恢复势垒实现光复位与抑制性突触响应(IPSC);另一方面,在 Ag-TiO2 等离激元体系中(图4f–g),可见光诱导 Ag 纳米颗粒光致氧化(Ag0→Ag+)促进导电通路形成,紫外光则触发光致还原(Ag+→Ag0)消耗银离子以抑制导电通道。

图5、光电忆阻器器件物理建模、机器学习紧凑模型及硬件等效电路仿真验证。
如图5所示,为打通单器件物理特性与大规模阵列电路设计的桥梁,研究者建立了多层次光电忆阻器模型:图5a 展示了基于改进电压阈值自适应模型(VTEAM)构建的 SPICE 模型及其在拓扑旋转多值逻辑电路中的应用,可在 0 至 1 连续范围内实现 10 种逻辑功能;图5b 展示了结合紧凑模型标准、器件物理与机器学习样本加权构建的 Verilog-A 模型,在黑暗与光照条件下均实现了对实验 I–V 曲线的精准拟合;图5c–e 呈现了面向脉冲神经网络(SNN)的行为级模型及光学突触迹线电路,利用电脉冲编程与弱光(0.2 μW)无损读出精确复现了脉冲时间依赖可塑性(STDP)权重演化;图5f 则给出了引入独立光控端的磁通控制忆阻器浮地等效电路模型,实现了近传感模拟信号特征提取的硬件电路验证。

图6、生物视觉感知通路、12×12 集成器件阵列照片及人工突触可塑性特征(EPSC/IPSC、PPF 与 STM-to-LTM 演化)。
如图6a–b所示,人眼视网膜感光细胞捕获紫外至近红外光信号后经视神经传递至视觉皮层,光电忆阻器通过上下电极模拟突触前膜与突触后膜,可在阵列层面复现生物突触的核心信号处理功能。图6c–d 展示了典型光电突触响应曲线与器件结构对比:随着连续光脉冲数量(N = 1 至 20)增加,器件突触后电流逐步累积且衰减时间显著延长,实现从短时程记忆(STM)向长时程记忆(LTM)的转化;同时,双脉冲易化(PPF)的快、慢双指数弛豫时间常数(τ1/τ2)建立了视觉处理的时间频率滤波窗口,当脉冲间隔较短时实现高频信号增强,而间隔较长时自然弛豫至基线以滤除静态背景噪声。

图7、感存算一体化人工视觉系统概念及退化图像原位并行感知、存储与视觉预处理硬件演示。
如图7a所示,光电忆阻器阵列将光信号感知、非易失性模拟存储与原位计算融合于同一物理单元内,消除了传统冯·诺依曼架构中传感器、存储器与处理器相互分离导致的频繁数据搬运与模数转换(ADC)功耗瓶颈。图7b–d 展示了基于纳米线缺陷工程光电阵列针对退化图像的原位并行感知、存储与视觉预处理硬件演示,通过在时域与频域同步执行灰度解压缩与多次采样滤波预处理,有效抑制加性噪声与散射退化,显著提升了后端神经网络的图像识别精度。

图8、简单线性阵列与可重构交叉阵列、光电计算阵列的物理结构及图像感知存储演示。
如图8a–b所示,简单线性阵列将各光电忆阻单元排布在相互独立的互连引线上(如掩模光照下的 5×5 PtSe2 阵列与光脉冲驱动的碳点阵列),单元间完全电学隔离、无潜行路径漏电流,适用于材料筛选与静态图像感知存储,但其引脚数量随阵列规模呈 O(M×N) 增长。图8c–d 展示了基于 In2S3-xAsx 纳米线交叉阵列的可重构光电忆阻架构(ROMA),利用缺陷工程持续光电导实现自由空间并行光感知、多级光电流存储及单列 12 比特原位光编码;图8e–g 则展示了封装在定制 PCB 上的晶圆级三端 Mo4/3B2Tz 硼烯光电计算阵列,通过相邻像素共享电极构成硬件卷积核并成功重构出高对比度人眼灰度图像。

图9、无源光电忆阻器交叉阵列的布尔逻辑运算与有源晶体管辅助交叉阵列(1T1OEM)的神经网络图像处理架构。
如图9a所示,二维正交交叉阵列通过共享字线(WL)与位线(BL)将外部引脚复杂度压缩至 O(M+N),以 5×5 CuAlAgCr/TiO2/W 交叉阵列为例,可直接利用光(50 mW)与电(5 V)双端输入在传感平面执行“与(AND)”布尔逻辑运算及图像对比度增强,但无源交叉点在阵列规模扩大时易受潜行路径(Sneak-path)漏电流干扰。为此,图9b 所示的有源晶体管-光电忆阻器集成交叉阵列(1T1OEM)在每个双端忆阻节点串联选通晶体管,彻底关断未选通单元的寄生漏电通道并提供精确限流控制,从而在无串扰干扰下实现 5×5 卷积核权重的局部光响应度编码与高精度图像识别。

图10、映射至光电忆阻器集成阵列的三大主流人工神经网络计算框架(FCNN、RC 与 CNN)。
如图10所示,将视觉算法映射至光电忆阻阵列需根据计算框架匹配对应的器件物理特性:图10a–b 展示了全连接神经网络(FCNN),利用交叉阵列的欧姆定律与基尔霍夫电流定律一步并行执行向量-矩阵乘法(VMM),要求器件具备高线性度与对称的非易失性电导更新能力;图10c 展示了物理储备池计算(RC),巧妙利用光电忆阻器易失性短时程记忆与非线性光响应弛豫将时序脉冲模式映射至高维特征空间,仅需训练简单的线性读出层;图10d 展示了深度卷积神经网络(CNN),通过多层卷积与池化提取高阶空间特征,对阵列的器件间均一性、多比特保持力与高良率提出严格要求。

图11、光电忆阻器阵列在原位光感知记忆、仿人眼瞳孔自适应及多波长彩色图像时空记忆中的应用。
如图11a所示,光电阵列可在撤去外部光照后依然维持电荷或阻态分布,实现“T”“U”“Z”“V”等字母图案的平行光感知与电荷分辨存储。为进一步模拟生物视觉适应机制,图11b 展示了基于 Zn2SnO4/In2O3 光电忆阻器阵列的仿人眼瞳孔自适应功能,通过调节入射光强与照射时长动态改变阵列电导响应幅度与记忆衰减时间,模拟强光下瞳孔收缩以保护视网膜免受伤害的机制;图11c 则展示了多波长调控 WOx:Ag 等离激元 7×7 交叉阵列在相同光强(60 mW/cm2)下对红(680 nm)、绿(550 nm)、蓝(450 nm)三色图像的分辨捕获,且随光照时间从 1 s 增至 10 s,彩色记忆保持时间显著延长。

图12、基于全光调控等离激元光电忆阻器阵列的半球形仿生视网膜及双目立体三维视觉系统。
如图12a所示,研究者利用全光可逆调控的 Au/Ag-TiO2/ITO 光电忆阻器构建 30×30 像素柔性阵列,并将其共形转移至半球形基底上以模拟生物视网膜曲面结构,这是首个由全光可逆调制器件构成的集成视觉感知阵列。图12b 对比了平面阵列与半球形阵列的视场角(FOV)及三维空间定位效果:半球形仿生视网膜将对角视场角由平面阵列的 54.3° 大幅拓展至 76.6°;通过构建左右双目半球形阵列并结合坐标变换与图像匹配,系统成功获得了目标点的三维空间坐标与入射角分布,实现了类人眼双目视差立体视觉。

图13、仿视网膜低级图像预处理机制:光传感边缘提取与基于突触长/短时程可塑性差异的动态噪声滤除。
如图13a–b所示,双栅光电晶体管硬件可在光照射过程中直接执行 X/Y 方向灰度映射与差分卷积核运算,在传感端原位提取出高对比度图像边缘轮廓。图13c 则展示了二维 WS2 光电忆阻器 3×3 阵列利用人工突触记忆与遗忘动力学实现视网膜级降噪与对比度增强的过程:有效目标信号(字母“X”)对应的连续 435 nm 光脉冲诱导器件产生长时程增强(LTP)并延长光电流衰减时间,而随机背景噪声脉冲仅触发短时程可塑性(STP)并迅速遗忘,从而在传感端自动滤除噪声并凸显清晰目标图像。

图14、基于可调光响应度注意力掩模与光电储备池计算的原位图像预处理系统。
如图14a所示,通过将训练好的二值化注意力掩模直接编程写入 28×28 Cs2AgBiBr6 钙钛矿光电忆阻器阵列的光响应度状态(可调范围达 35.9 dB)中,器件在光照瞬间即可原位执行像素级乘法运算(Iph = P × R),在高达 50% 背景噪声干扰下有效屏蔽环境噪声并保持高识别准确率。图14b 展示了集成降噪与感存算一体储备池计算(RC)的 ZnO 光电忆阻系统:原始含噪图像经阵列去噪并编码为 4 比特光脉冲流后,送入光学储备池层映射为动态输出电流,最终通过 16×4 读出网络将分类准确率由 92.66% 提升至 99.33%。

图15、基于全光调控忆阻器阵列的手写数字识别与基于双掩模光电储备池的时空人体动作识别。
如图15a所示,基于全光调控钙钛矿忆阻器阵列在 630 nm 红光下对模糊抖动的 MNIST 手写数字图像执行原位光洗刷与边缘增强预处理后,再输入至 784×200×10 全连接神经网络,使识别准确率由 56.2% 大幅提升至 83.5%。图15b 展示了基于 70×30 ZnO 光电忆阻器阵列(共 2,100 个单元)的双掩模感存算一体储备池计算系统,通过组合三种入射光波长掩模(白、蓝、红)与三种初始电导掩模构建 9 组低相关性储备池状态,无需复杂硬件布线即可大幅扩展高维状态空间,在 10 类人体动作(奔跑、跳跃、蹲起、挥手等)4 帧视频序列识别中取得了 99.4% 的高准确率。

图16、结合多层卷积特征提取与差分对忆阻器交叉阵列的 CIFAR-10 复杂图像分层分类框架。
如图16a所示,为应对复杂自然图像分类任务,研究者构建了由 8 层卷积神经网络(包含 3 组卷积与池化层,将图像特征压缩为 1×8192 特征向量)与 8192×1024×10 光电忆阻器全连接神经网络(FCNN)组成的分层神经形态视觉框架。如图16b 所示,在硬件映射中采用相邻两列器件构成差分电导对(W = G+ − G−)以精确表征正、负突触权重,并通过平衡差分跨阻放大器在模拟域直接完成带符号向量-矩阵乘加运算,最终在 CIFAR-10 数据集上实现了高达 96% 的推理识别准确率。

图17、有源 1M1T 交叉阵列车辆分类网络及单片集成于硅基 CMOS 电路的 128×8 1T1OEM 感存算一体硬件系统。
如图17a所示,将选通晶体管引入 Ag/ITZO/WO3-x/ITO 光电忆阻器交叉阵列(1M1T 拓扑)并结合光电协同差分权重映射策略,在 10 类车辆图像识别任务中取得了 89.1% 的准确率(显著高于纯电调制的 67.2%),同时将工作功耗降至 10−3 W 量级。为跨越离线软件仿真与片上物理加速的鸿沟,图17b 展示了单片集成于硅基 CMOS 电路上的 128×8 有源 1T1OEM 芯片:利用动态光电忆阻模式(D-OEM)作为物理储备池处理骨骼三轴加速度时空 405 nm 光脉冲序列(映射为 720 维状态向量),并由非易失性电忆阻模式(EM)阵列在硬件上通过基尔霍夫定律直接执行向量-矩阵乘法读出,在人体动作识别硬件实测中实现了 91.2% 的准确率(逼近 GPU 软件基线 93.2%)及超过 20 倍的能效提升。

图18、晶圆级大面积低维光电计算阵列及硅基 CMOS 单片集成 1T1OEM 芯片的制造与均一性表征。
如图18a–e所示,在低于 150℃ 的后道工艺(BEOL)热预算下实现了 12 英寸(300 mm)晶圆级各向异性 Mo4/3B2Tz 硼烯光电计算阵列的规模化制备,封装后的 54×54 像素芯片良率高达 99.48% 且具备 16 个高度线性的可编程光响应态;图18f 展示了 2 英寸晶圆级 CMOS 兼容单片集成神经形态传感振荡阵列及其时空脉冲神经网络处理。尤为关键的是,图18g 展示了直接在硅基 CMOS 晶圆上单片集成的 128×8 1T1OEM 芯片光学显微照片,标志着光电忆阻器技术已从分立原型器件迈向晶圆级高良率量产兼容集成,为下一代单片三维(Monolithic 3D)神经形态视觉芯片奠定了坚实物理基础。
【全文小结】
1、光电忆阻器并非传统电控忆阻器与光电探测器的简单组合,其活性层材料(氧化物、低维材料、钙钛矿等)的缺陷态动力学、界面势垒演化及光电耦合模式共同决定了器件的非易失性存储保持力与突触可塑性边界。
2、实现高性能感存算一体化视觉计算需实现“器件物理—阵列拓扑—算法框架”的精准匹配:储备池计算(RC)适配易失性瞬态弛豫特性,而卷积与全连接网络(CNN/FCNN)则对电导更新线性度、对称性及器件间一致性提出严苛要求。
3、阵列架构正从无源交叉阵列向有源 1T1OEM 集成阵列演变以根除潜行路径串扰;评估系统成熟度时需明确区分基于实测器件参数的离线软件模拟与真正的片上 CMOS 硬件并行加速。
4、未来研究需重点突破无铅高稳定宽禁带材料开发、硅基 CMOS 后道工艺(BEOL,<400℃)低温异质集成、单片三维垂直堆叠(Monolithic 3D)与双向阈值选通器(1S1M)设计,同时结合稀疏脉冲神经网络(SNN)降低外围数模混合转换电路的功耗与面积占比。
【论文信息】
H. Li, Z. Li, H. Xu, X. Qin, H. Wang, Y. Yu, Z. Lou, L. Wang, “Beyond the Pixel: Artificial Vision Based on Optoelectronic Memristor Arrays,” Materials Science and Engineering: R: Reports 172 (2027): 101316.
论文DOI:https://doi.org/10.1016/j.mser.2026.101316
【通讯作者简介】

李哲新:中国科学院半导体研究所助理研究员,2025年中国博士后创新人才支持计划A类获得者。主要研究方向为半导体光电探测器设计,以第一、通讯作者在Nature Electronics,National Science Review等期刊发表SCI论文10余篇,授权发明专利1项;相关成果入选半导体十大研究进展。作为项目负责人承担国家自然科学基金C类,2025年北京市自然科学基金青年项目,2026年中国科学院特别研究助理资助项目以及2025年博士后面上项目等。

娄正:中国科学院半导体研究所研究员、国家优秀青年基金获得者,国家重点研发计划课题负责人。主要研究方向半导体光电传感器件与集成。以第一或通讯作者在Nature Materials、Nature Electronics等期刊发表SCI论文80余篇,SCI他引15000余次, H因子70。授权发明专利10项,相关成果入选“半导体十大研究进展”。获北京市自然科学奖等省部级奖2项。

王丽丽:中国科学院半导体研究所研究员、国家优秀青年基金获得者,重点研发计划项目负责人,中国科学院百人计划(结题优秀),北京市青年重点项目(原北京市杰青)。研究方向聚焦高性能多模态半导体传感器件与系统的研究。以第一或通讯作者在Nature Materials、Nature Nanotechnology、Nature Electronics等期刊发表SCI论文110余篇,SCI他引16000余次, H因子77。授权发明专利15项,其中2项实现技术成果转化,相关成果入选“半导体十大研究进展”和“首都前沿学术成果奖”。获2025年中国科学院青年科学家奖,2026、2025年度中国科学院优秀导师,2024年入选第七届中国青年科技工作者协会,2019获第十五届青年女科学家未来女科学家奖等。





