EEJournal

专题文章
现在就订阅

执行极限AI模拟计算无半导体

一般来说,当有人向我抛出一份与商业有关的新闻稿时,我倾向于闪躲。你可以把我称为技术狂人,但我真的不在乎a公司一直在考虑与B公司签署意向书的可能性,以建立一个框架,在未来某个不确定的时间开始讨论在某个模糊定义的项目上合作的前景。

我想说,对于这类事情,我有一个不成文的规则(在我的经验中,最好的那种)。另一方面,“规则就是用来打破的”,正如他们所说,尽管我个人更喜欢这句格言,规则是给愚人服从的,是给聪明人指导的。”

长话短说(这与我亲爱的老母亲教我的做事方式相反),当我的老朋友Kalyn Kolek给我发邮件说:“我现在在公司从事风险投资(VC)方面的工作。Anzu伙伴.我在和一家新成立的公司合作EnCharge人工智能我的公司投资的,我想你们会感兴趣的。”

然后Kalyn用以下三个逗趣的要点来诱惑我:

  • EnCharge的技术由普林斯顿大学开发,由来自Meta、NVIDIA、Qualcomm和IBM的世界级多学科创始团队领导。
  • 这种基于电荷的内存计算技术已经证明了AI性能,其计算效率和密度比同类最佳数字加速器(如gpu或tpu)高几个数量级,可实现超过150tops /W的8位计算。
  • 与业内最好的数字AI加速器相比,EnCharge将提供每瓦性能提高20倍以上、每美元性能提高14倍以上的平台。

我控制不住自己。当我看到“150 TOPS/ w”时,我迷路了。我只是看了一下新闻稿,EnCharge AI在A轮融资2170万美元,大规模实现边缘AI,除了上面总结的信息外,我还了解到“EnCharge提供了一个软件堆栈,支持广泛的人工智能模型和解决方案,同时无缝集成到用户框架和设计流程中”,以及“EnCharge试图通过使其可用于电力、能源和空间受限的边缘应用来释放人工智能的巨大潜力。这些功能对于汽车传感、先进制造、智能零售、智能仓库和物流、工业机器人和无人机等市场应用非常有价值。”

我还浏览了EnCharge网站了解更多关于该公司及其创始人的信息,纳文·维尔马博士(CEO),冈仁波齐·戈帕拉克里什南博士(CPO),埃here·伊罗加博士(COO)。其中,这三个人拥有丰富的商业和技术知识,足以让他们从事的任何事情都获得成功。(马克斯说,理学士)

凯琳成功了。我想了解更多,所以我们在你谦卑的旁白(我为自己的谦逊感到自豪)、纳文和埃切尔之间进行了视频聊天,而可怜的老冈仁波齐在他们不在的时候被留下来管理公司。

我们开了个好头:

我:“嗯。你们公司叫EnCharge,我听说你们开发了一种基于电荷的内存计算技术。我能假设这是基于Flash之类的浮门存储技术吗?”

纳文:“不”

这并不像听起来那么糟糕,因为内文在传授这个宝贵的知识时笑了。在我们继续之前,我可能应该指出,在过去一年左右的时间里,我已经了解了几种基于模拟的人工智能(AI)和基于浮动门内存技术的机器学习(ML)加速器。

赛车背后的概念总结那些简而言之,技术如下。AI和ML是基于人工神经网络(ann)的。这涉及到一层又一层的人工神经元。它们还涉及大量的矩阵操作和计算。事实上,AI/ML应用程序的95%到99%都用于这些矩阵运算。这些矩阵运算的核心是乘法-累加运算,将一系列乘法运算的结果累加起来。

我们可以使用常规的微控制器单元(MCU)来实现所有这些数字操作,但至少可以说,这既耗时又耗电。另外,我们可以使用fpga以大规模并行的方式来做事情,或者我们可以采用一种混合方法,使用图形处理单元(gpu)形式的小型处理核心阵列。事实上,FPGA和基于gpu的解决方案在很大程度上主导了数据中心的这一领域。然而,随着我们越来越接近边缘(互联网与现实世界相遇的地方),尺寸、成本和功耗的考虑变得越来越重要。

我总是在简单的闪存设备上下文中想到浮动门,其中每个单元格(门)本质上可以保存一个0或1值。然而,一些公司已经开发了控制浮栅中电子数量的能力,以表示256个不同的值(相当于8位存储)(参见另文)来看看神话AI即将成为传奇的模拟AI).如果这些值用于表示ANN中的权重(系数),则每个Flash单元可用于在其激活电压与其系数之间执行模拟乘法(电压x电导)。来自一列中所有Flash细胞的电流是相加的(模拟相加),这意味着我们可以把每个Flash细胞看作是一个突触,每列细胞代表一个神经元。

一方面,模拟计算本质上不如数字计算精确。另一方面,AI和ML本质上是概率性的。这意味着,不管AI报告说它正在看一只鸡的概率是96%还是97%,我们都非常确定我们手头上有一个以鸡为中心的场景。

现在坐起来,集中注意力!这是聪明之处。Naveen指出,当你使用半导体设备来执行模拟计算时,“事情变得混乱”。这是因为基于半导体的模拟元件对环境条件很敏感,如温度波动和材料参数形式的工艺变化。因此,基于flash的模拟中心技术需要不断监控、调整和重新校准。我们可以认为这是增加了大量的模拟-数字-模拟微回路。由于大部分工作都是使用数字技术完成的,因此从一开始就削弱了使用模拟技术的优势。

EnCharge AI联合创始人兼首席执行官纳文·维尔马(Naveen Verma)在普林斯顿大学的实验室里拿着该公司先进计算技术的原型机。

EnCharge AI联合创始人兼首席执行官纳文·维尔马(Naveen Verma)在普林斯顿大学的实验室里拿着该公司先进计算技术的原型机。

EnCharge AI开发的解决方案是避免使用芯片的半导体基板来实现用于执行矩阵乘法-累加运算的模拟元件,而是使用金属线来创建极其精确的电容器,在CMOS技术中创建芯片时,金属线基本上是免费的。这些电容器对温度或半导体工艺变化不敏感;它们只对结构和几何敏感,这在CMOS中可以很好地控制。

想象一列这样的电容器电池。记住Q = CV,这意味着每个电池(线电容器)上的电荷Q是其电容C和施加电压v的乘积(乘法)。柱的总电荷是加法,这就是我们的累积。同样,我们可以把每个细胞看作一个突触,每一列细胞代表一个神经元。

看看我能不能解释清楚接下来发生了什么。(不要认为这是我懒得画图。相反,你可以把它看作是一种可视化的锻炼,来锻炼你的思维肌肉。这只是我提供的另一项服务。你是受欢迎的。)我们从这些单元格的数组开始,它有数千行和数百列的大小。这称为内存计算数组(CIMA)。该阵列具有关联的数字计算和数据流缓冲区、可编程数字SIMD引擎和一些控制逻辑,所有这些都被统称为内存计算单元(CIMU)。

所有东西都需要可编程的原因是不同的AI/ML模型有不同的要求。一些层可能执行3×3卷积,一些层可能需要实现9×9卷积,其他层可能希望实现扩展卷积,等等。

现在,想象一个由片上网络(OCN)连接的这些cimu阵列。这种超级阵列被称为可扩展内存计算(IMC)神经网络(NN)加速器。我认为这是一个IMCNNA,但我不认为EnCharge的人会使用这个术语。

我们还没做完呢。我们谈论的是CMOS芯片,除了IMCNNA,还包括一个标准Arm处理器核心集群,用于执行芯片上的前处理和后处理任务,一个PCIe Gen 5接口,用于与更高级别的主机处理系统通信,以及一堆其他东西。

所有这一切的一个重要方面是EnCharge技术基于标准CMOS制造工艺,这意味着它可以在最新和最大的工艺节点上实现(它们从65nm开始,迁移到28nm,目前是16nm)。

你还记得我们之前说过的吗?“EnCharge提供了一个软件堆栈,支持广泛的AI模型和解决方案,同时无缝集成到用户框架和设计流程中。”这意味着用户可以在传统的基于FPGA/ gpu的系统上使用标准设计框架(PyTorch, TensorFlow, ONNX…)创建AI/ML模型,并使用EnCharge的IMCNNA(可扩展的内存计算神经网络加速器…我知道…这不是脱口而出…我们需要想出一个更好的名字)快速轻松地开始加速这些模型。

总之,EnCharge的伙计们正在追求边缘到云的战略。他们的目标是在数据中心之外,接近边缘,但不是在极端边缘。他们的目标是需要运行最先进的AI/ML模型的大型自动化任务,包括工业、智能制造、智能零售、仓储物流、机器人等。

EnCharge的工作人员表示,他们基于电荷的内存计算技术已经证明了人工智能的性能,其计算效率和密度比同类最好的数字加速器(如gpu或tpu)高几个数量级,并且他们目前的硅内验证解决方案达到了150 TOPS/watt。

就我个人而言,我非常兴奋。再说一次,这是一个我没有预见到的技术实现,我迫不及待地想知道它最终会走向何方。你呢?你有什么想法想和我们分享吗?

关于“执行极限AI模拟计算无半导体”的4个想法

  1. 一切都非常令人兴奋!Mythic的工作似乎也很令人兴奋。我能想到这项技术的完美应用。我想知道EnCharge或Mythic的人是否愿意支持一个教育非营利组织
    theboom.org

      1. 这很可悲,但这是许多小公司的命运——我希望他们能得到更多的资金并取得成功——我认为他们的技术真的很有趣。

留下回复

有特色的博客
2023年3月2日
我们的PCIe 5.0 IP解决方案,包括数字控制器和phy,已经通过了PCI-SIG 5.0合规测试,成为5.0集成商名单上的第一家。文章《使用兼容PCIe 5.0的Synopsys IP降低高速应用的集成风险》首次出现在…
2023年3月2日
你想了解更多关于无人机设计的CFD吗?本次网络研讨会的注册:空中无人机主要有两类:能够垂直起降的旋翼飞行器(VTOLs)和固定翼飞行器。旋翼无人机比固定翼无人机有本质优势。
2023年1月19日
你是否在调整表带或更换手表电池时遇到了问题?如果是这样,我是好消息的携带者....

有特色的视频

提升你的知识!

逮老鼠的电子产品

感觉落后了?鼠标的通讯和技术资源订阅将确保您的技能更上一层楼!设置您的首选项并自定义您的订阅,今天就可以增强您的知识!

点击这里了解更多信息

特色粉笔谈话亚博里的电子竞技

HARTING的HAN®1A连接器系列
今天的电子工业有一个很大的推动力,使我们的设计更小,更模块化。我们可以帮助解决这些设计挑战的一种方法是为我们的设计选择连接器。在本集粉笔谈话中,浩亭的Goda In亚博里的电子竞技okaityte和Amelia Dalton研究了小型化连接在未来电子设计中的作用。他们还介绍了HARTING的Han 1A连接器如何帮助减少安装错误,提高可服务性,并在您的下一个设计中增加模块化。
2022年8月3日
27008的浏览量
Baidu