当很多人听到Flex Logix这个名字时，他们的下意识反应是想到eFPGA(嵌入式FPGA)。虽然Flex Logix的男男女女在eFPGA领域(没有人能听到你的尖叫)确实占据了主导地位，但他们也在人工智能(AI)推理领域(AI系统可以听到你的尖叫)掀起了波澜。
说句题外话，你可能没看过这部电影，“在太空中，没人能听到你的尖叫”是这部1979年科幻恐怖电影的标志性口号，外星人这部电影由雷德利·斯科特执导，西格妮·韦弗饰演准尉艾伦·雷普利，她与超级可怕的外星生物作战。瑞士超现实主义画家、雕塑家和布景设计师汉斯·鲁迪·吉格尔(Hans Ruedi Giger)获奖他的作品获得了奥斯卡最佳视觉效果成就奖外星人(我现在还做噩梦)。
eFPGA技术是片上系统(SoC)设备开发人员可以嵌入到其设计中的FPGA IP。正如我在之前的专栏中所讨论的，Flex Logix加入到推理边缘的竞赛，来自Flex Logix决定用他们的eFPGA技能来创造一个用于机器学习(ML)应用的推理引擎。以他们的第一款设备InferX X1为例，我继续说:
InferX X1芯片拥有64个可重构张量处理器单元(tpu)，与片上SRAM紧密耦合。tpu可以串行或并行配置，以实现广泛的张量操作。此外，可编程互连提供了从SRAM通过tpu并返回SRAM的全速、无争用数据路径。同时，在当前层的计算过程中，为下一层带来权重和配置的DRAM流量在后台发生，从而最大限度地减少计算停顿。本地化数据访问和计算与可重构数据路径的组合，所有这些都可以一层一层地重新配置(在百万分之一秒内)，提供了令人难以置信的高利用率和令人惊叹的吞吐量。
在我们继续之前，很容易与AI、ML和推理等术语混淆，所以这里有一个快速的总结。许多人工智能系统使用一种称为ML的范式，它涉及两个主要方面:训练和推理。设计师首先使用Caffe或TensorFlow之类的东西创建一个人工神经网络(ANN)框架。训练这个网络模型(通常使用32位浮点值表示)是一个计算密集型的过程，可能需要数周或数月的时间，即使是在位于大型云计算系统中的高性能硬件上运行也是如此。训练过程的输出是一个训练好的ML模型。
一旦创建，该模型就可以优化部署，并用于推理处理(也称为推理)，这是指对刺激提供响应的过程。常见的推理任务包括图像或视频中的物体或面部检测，理解人类语言，以及在x射线图像中识别癌细胞。
最后一块拼图是mini-ITX，这是一个170毫米× 170毫米(6.7英寸× 6.7英寸)的主板尺寸，最初是由VIA技术公司在2001年开发的。mini-ITX板的尺寸，加上它们非常适合无风扇冷却的事实，导致它们被广泛部署在具有挑战性的环境中要求高可靠性的工业和嵌入式系统中。
我在这里唠叨这些的原因是，Flex Logix公司最近发布了他们的InferX Hawk X1，这是一个硬件和软件就绪的mini-ITX x86系统，旨在帮助客户快速轻松地定制、构建和部署边缘和嵌入式人工智能系统。
Hawk X1(来源:Flex Logix)
除了AMD Ryzen Embedded R2314 SoC处理器外，Hawk X1还拥有Flex Logix的两个InferX X1 AI加速芯片。支持Linux和Windows操作系统，这种针对现有mini-ITX系统的应用程序就绪式升级降低了创建和部署边缘和嵌入式AI系统的风险、上市时间和开发时间。
在较高的抽象级别上，开发和部署的AI工作流可以如下所示可视化。
AI开发和部署工作流(来源:Flex Logix)
这个过程首先收集数据，给数据贴上标签，然后执行一系列其他与数据相关的任务。下一步是开发和训练AL模型。如前所述，这些模型通常使用32位浮点值表示，并且训练它们是一个耗时且计算开销大的过程。
在训练之后，模型被量化(通常为8位定点表示)、优化并编译成适合部署的形式。这就是事情变得有趣的地方，因为一旦进入现实世界，除了执行其预期的任务外，推理引擎可能会暴露于不同于和/或更好于它最初训练的数据的数据，因此这些数据可能会“反馈到线上”，以合并到更新的模型中以供未来部署。这与传统的嵌入式生命周期非常不同，传统的生命周期可以概括为“部署后忘记”(每年更新一次或“偶尔更新一次”)。
Flex Logix的工作人员如何适应这个工作流程如下所示。
使用Flex Logix开发和部署AI工作流
(来源:Flex Logix)
正如我们所看到的，一旦AI模型得到训练，Flex Logix就会接管。使用InferX模型开发工具包(MDK)进行量化和优化。两个主要输出是一个通用的8位定点模型，可用于验证与原始32位浮点模型相比的准确性，以及为Hawk X1部署而定制的该模型的集中版本。
人工智能领域的新手通常会惊讶地发现，8位的固定点表示被用于推理，但这些模型要小得多，速度要快得多，而且只消耗32位浮点模型的一小部分能量。如果量化和优化实现正确，8位模型执行的推理精度将低于32位模型提供的1%。
这样想;人工智能是否说它有97%的把握看到的是一只鸡，或者它报告说它有96%的把握看到的是一只鸡，这并不重要;不管怎样，我们都有理由相信我们有一个与鸡有关的情况(有些人可能会说“鸡相关的情况”，但我不会那么低)。
Flex Logix的伙计们告诉我，他们已经将Hawk X1与NVIDIA的Xavier和Orin产品进行了基准测试。他们表示，与Xavier相比，Hawk X1性能更好，更节能，成本更低。就Orin而言，他们表示，Hawk X1提供了大致相同的性能，但更节能，成本更低。因此，从整体性能/瓦特或性能/美元的角度来看，霍克X1有很多可提供的。
嵌入式和基于边缘的机器视觉系统的目标市场和应用可以从人工智能中受益，基本上是无限的。例子包括安全和安保、制造业和工业光学检测、交通和停车管理、零售、机器人、农业等等。
目标市场和应用示例(来源:Flex Logix)
实际上，我刚刚想到的另一个应用是为四处行驶的市政车辆(如警车、校车和垃圾车)配备机器视觉系统，以保持警惕(没有双关语)，以查看需要查看的东西(同样，没有双关语)。如果发现任何异常情况——坏掉的交通灯和路灯，丢失或损坏的标志，道路问题(坑洼，动物死亡，其他碎片)，树木和藤蔓撞击电线——系统会自动提醒适当的人员来处理这些问题。
我真的认为我们正在进入一个有趣的时代，像Flex Logix的Hawk X1这样的系统将把我们带到那里。你呢?你有什么想法想和我分享吗?
