塞车了!缩短资料运算与储存间「通勤」距离,纾缓交通壅塞

2020-06-28 O烛生活 76642次阅读 

塞車了!縮短資料運算與儲存間「通勤」距離,紓緩交通壅塞

《电脑与人脑》作者,着名数学家暨电脑学家范纽曼(John von Neumann)于1945年提出「储存程式逻辑」的概念,为电子电脑的逻辑结构奠定基础。范纽曼型架构(von Neumann architecture)由中央处理单元(central processing unit, CPU)、记忆单元、以及输入输出装置组成,其中CPU 中又包含控制单元(Control unit)、算术逻辑单元(arithmetic logic unit, ALU)、暂存器(Register),分别扮演工头、工人、与仓储的角色。

然而如此将CPU与记忆体分开的设计,在现实应用上却形成了「范纽曼瓶颈」:当CPU需要从巨大资料上执行简单指令时,资料在记忆体读写程序上耗费大量时间,使得CPU经常处于闲置状态,严重限制了整体效率。举例来说,执行简单运算功能时,将资料从装置传输到云端所需的能量,甚至是运算本身所需能量的十到百倍。听起来有些荒谬,但这确实是目前许多在 von Neumann 架构上执行运算时,所面临的问题。因此,是时候重新检视处理器与记忆体的空间配置,解决资料传输「交通壅塞」的问题了。

创新一:奈米碳管「电脑」

电脑由处理器组成,处理器晶片中有各式各样的电晶体。过去数十年来,研发人员持续缩小传统金属氧化物半导体场效电晶体(MOSFET)的大小,驱动了运算速度的提升。然而物体尺寸上的革新有其极限,因此有人尝试从材料着手,製作奈米碳管场效电晶体(CNFET),利用奈米碳管高长径比的特性(径向尺度奈米量级,轴向尺度微米量级),突破硅材料体积限制。

塞车了!缩短资料运算与储存间「通勤」距离,纾缓交通壅塞

图一、3D积体电路系统架构(图片来源:参考资料[1])

在2017年一篇Nature研究报告中[1],Mitra团队提出3D积体电路系统,整合电阻式随机存取记忆体(Resistive RAM, RRAM)、CNFET运算单元、记忆体电路、以及感应器,在架构与材料上进行创新。这些元件在垂直方向上层层交叠,相较于2D单层的电晶体配置,它缩短了不同功能元件间的物理距离。积体电路的製程上,运算层与资料储存层之间以緻密的金属导线via相连,如图一所示。相较于传统堆叠不同晶片成为单一封装的多晶片模组(Multi-Chip Module, MCM),此设计让运算层、资料储存层、与输出输入层之间有较大的资料传输频宽,纾缓交通壅塞的瓶颈。

以辨识周围气体种类为例,图一的五个次系统分别扮演以下角色:(1) 运算次系统(Computation,位于第二层)为SVM(Support Vector Machine)分类器,由CNFET构成,从气体感测器收集的原始资料中,产生初步判断结果(例如:判别蒸气种类)。(2) 资料储存次系统(Memory,位于第一、三层)的每个元件由一个电晶体与一个RRAM组成,第三层的RRAM位于第一层电晶体的垂直正上方。(3) 资料存取(Memory access)由CNFET做成的解码器,读取与设定行列中的RRAM。(4) 输入与输出层(第四层)为侦测化学蒸气的感测器,由超过一百万个CNFET反向器组成。每个感测器在资料储存层有对应的记忆体,排列在其正上方,并分别以via连接。这样一来,不同感测器的资料传输可同步进行,不会受到路径壅塞的影响而使速率大打折扣。(5) 介面(Interface,第一层)则是诸如放大器的元件,将资料从记忆体引导至CNFET计算层。

这样的「奈米碳管电脑」可用于环境监测,分辨周围的水汽究竟来自柠檬汁、醋、酒精,亦或是伏特加或红酒。

创新二:类比电路「运算卫星」

相较于前述在材料与结构上创新的积体电路,Shanbhag团队着重于优化控制电路与记忆体排列方式(In-memory architecture)[3]。他们将类比控制电路环绕于记忆体阵列周围,可就近在这些电路执行简单的人工智慧演算法。之所以选择让电路环绕在记忆体周围,而没有穿插在其中,则是为了维持记忆体的储存密度。通常较高的储存密度会伴随较好的传输速率。在储存于静态RAM的影像上,此类比电路「运算卫星」成功以SVM进行人脸侦测,并辅以最近邻居法(k-nearest neighbors algorighm, k-NN)执行人脸辨识。

物联网时代:「AI电路」进行记忆体内运算

记忆体内运算(In-memory Computing, IMC)节省了资料在伺服器与储存设备间交换所需的时间,在物联网时代需大量收集并分析资料的环境中,为深度学习的发展提供契机。总体而言,记忆体内运算设计的概念包括:减少资料移动所需之时间与能源、在记忆体端先进行运算再传出结果,减少移动的资料量、改变资料储存的位置与形式…等。目前有许多新创公司投入相关的创新设计,很多人看好他们成为「AI电路」的推动者,将人工智慧带出云端,走入一般消费性电子产品。

编译来源:To Speed AI, Mix Memory and Processing
Katherine Bourzac, IEEE Spectrum, April 2018


参考文献:

[1] M. Shulaker, G. Hills, R. Park, R.T. Howe, K. Saraswat, H.-S.P. Wong and S. Mitra, “Three-dimensional Integration of Nanotechnologies for Computing and Data Storage on a Single Chip,” Nature, 2017
https://www.nature.com/articles/nature22994[2] Max Shulaker, H.-S. Philip Wong and Subhasish Mitra, “How We’ll Put a Carbon Nanotube Computer in Your Hand”, IEEE Spectrum, 2016
https://spectrum.ieee.org/semiconductors/devices/how-well-put-a-carbon-nanotube-computer-in-your-hand[3] S. K. Gonugondla, M. Kang, Y. Kim, M. Helm, S. Eilert, and N. R. Shanbhag, “Energy-efficient deep in-memory architecture for NAND flash memories”, IEEE International Symposium on Circuits and Systems (ISCAS), May 2018
https://ieeexplore.ieee.org/abstract/document/8351458/[4] Computer Science GCSE GURU, “Von Neumann Architecture”,
https://www.computerscience.gcse.guru/theory/von-neumann-architecture
上一篇: 下一篇: