密歇根大学卢伟Nature子刊：人工智能-忆阻器网络的稀疏编码

【引言】

忆阻器是一种双端器件，其阻值依赖内部状态的变化，同时也被外部刺激的历史所调整。不同于传统基于电荷的电子器件，忆阻器的状态是由内部离子（阳离子或阴离子）的组态决定的，器件内部氧离子或金属阳离子的重新分布可以调节其所在位置的电阻率以及整个器件的电阻。人们已经在数字存储和模拟逻辑电路方面对忆阻器进行了广泛的研究。在器件层面，忆阻器通过储存模拟突触权重以及实现突触学习法则方面展示了能够模仿突触功能的能力。当构建交叉开关形式时，忆阻器网络可以提供人们想要的密度和连接性，这时就需要神经形态计算系统的硬件来实现。最近，忆阻器阵列和相变存储器件已经用于人工神经网络并完成了图形分类的任务。此外，其他研究也表明忆阻器可以用于周期性人工神经网络并在诸如模拟-数字转换器中得到应用。

【成果简介】

近日，来自密歇根大学的卢伟教授（通讯作者）等人对忆阻器网络的稀疏编码进行了研究，相关的研究成果以“Sparse coding with memristor networks”为题发表在了2017年5月22日出版的Nature nanotechnology上。

信息的稀疏表示提供了一种表现高维数据特征抽取的有力方法，同时在信息处理、计算机成像、物体识别和神经生物学方面激发了研究者广泛的兴趣。稀疏编码也被认为是生物神经系统能够在有效处理大量复杂感觉信息的同时耗能极少的关键机理。本文使用32x32的交叉编码模拟忆阻器整列并利用仿生的方法进行了稀疏编码算法的实验。这一网络能够有效地进行图像匹配和横向的神经元抑制，并能够允许输入数据使用神经活动进行稀疏编码同时存储字典元素。不同的字典集合可以在相同的系统里进行训练和保存，这都依赖于输入信号的特性。使用稀疏编码算法也可以基于学习字典进行自然图像的处理。

【图文导读】

图1 基于忆阻器交叉开关阵列的计算硬件系统

（a）基于忆阻器交叉开关阵列的计算硬件系统示意图

（b）本实验中使用的忆阻器阵列的扫描电子显微镜（SEM）照片

（c）使用（b）系统在忆阻器阵列中对32x32棋盘图案（斑块尺寸2x2）进行编程随后重复

（d）稀疏编码示意图

图2 使用忆阻器网络进行稀疏编码的实验认证

（a）在忆阻器网络中对词典元素进行编程

（b）原始图片的编码和忆阻器网络处理后的重构图片

（c）进行局部竞争算法（LCA）分析时神经元的膜电位与迭代次数的函数关系

（d）输入图像的额外示例和重构图像

图3 使用更为过度完备的字典时不同输入的稀疏编码

（a）基于水平和竖线在忆阻器交叉开关阵列对字典元素进行编码

（b）对原始图片进行编码及在忆阻器网络处理后的图像重构

（c）进行局部竞争算法（LCA）分析时神经元的膜电位与迭代次数的函数关系

（d）输入图像的额外示例和重构图像

图4 使用忆阻器交叉开关进行自然图像处理

（a）120x120的原始图片

（b）从原始图片中得到的4x4斑块

（c）使用LCA算法从16x32的忆阻器交叉开关得到的实验重构斑块以及基于WTA的离线学习词典

（d）进行局部竞争算法（LCA）分析时神经元的膜电位与迭代次数的函数关系

（e）基于重构斑块得到的实验重构图片

（f）使用基于WTA的离线训练词典得到的模拟重构图片

（g）使用更大的斑块得到的模拟重构图片和通过稀疏编码得到的理想词典以及梯度下降

（h）进行在线学习时通过考虑现实中器件的变化得到的模拟重构图片

【小结】

本文成功证实了在忆阻器交叉开关网络中的稀疏编码硬件系统的可行性。这种方法基于图案匹配和神经元横向抑制，是发展大规模、低能耗神经形态计算系统的重要里程碑。随后的器件和形态的优化会引领未来计算系统的发展，同时帮助消除传统计算设计中的“冯-诺依曼瓶颈”，并且能够生产具备低能耗、封装体积小和高产出的高效计算硬件。

文献链接：Sparse coding with memristor networks（Nat. Nanotech., 2017, DOI: 10.1038/nnano.2017.83）

本文由材料人电子电工学术组大城小爱供稿，材料牛整理编辑。材料牛网专注于跟踪材料领域科技及行业进展，如果您对于跟踪材料领域科技进展，解读高水平文章或是评述行业有兴趣，点我加入编辑部。

欢迎大家到材料人宣传科技成果并对文献进行深入解读，投稿邮箱tougao@cailiaoren.com

材料测试，数据分析，上测试谷！