基于硬件加速的超低功耗边缘智能，让头疼的“云端求助”走向本地自主化决策

知乎上有好事者对《西游记》的故事线做过统计，从保护唐僧遭遇各种艰难险阻到最终取得真经，神通广大的孙悟空一路上遇到各种危险，共求助22次，观音菩萨和天庭诸神不断出面帮大圣搞定各种凡间险恶。每次恶斗不赢吃尽苦头后，大圣总是会想法脱离妖魔围困跳入云端，驾着跟斗云去寻求各路神仙，一番口舌纠缠之后，尽管总能及时出手相助化险为夷，但师傅唐僧和师弟八戒、沙僧难免要苦熬一阵，或遭遇一番皮肉之苦。

这像极了人工智能日益普及的今天，越来越多的终端设备依靠云端的“大神”（中心算力）实现各种智能功能，尽管看起来方便，但其实很多场景难免面临各种问题和潜在隐患，甚至是各种事故风险。“边缘端设备监测的各种数据通过网络传输到云端，不仅可能带来很多应用场景下不能容忍的延迟问题，还可能因为隐私数据的泄露导致严重的数据安全。”ADI公司资深业务经理李勇在最近的一次演讲中表示。市场分析数据显示，2020年中国边缘计算市场规模为91亿元，未来成长空间非常广阔，预计到2030年中国边缘计算市场规模将接近2500亿元。

算力下沉

亟待边缘智能赋能多类应用场景

根据Gartner预测，2025年将有75%的数据产生在数据中心和云之外并在边缘侧进行处理。边缘计算在降低时延、带宽需求、保护隐私数据等多方面的价值已经被广泛认可，在产业数智化中的应用也不断涌现。边缘计算作为靠近数据源头，融合了网络、存储、计算与应用能力的分布式计算平台，可以对数据在本地进行实时分析处理，数据不必实时回传至云端，缩短延时，减少网络带宽资源需求，确保应用安全高效运行。

“失火而取水于海，海水虽多，火必不灭矣，远水不救近火也。”《韩非子·说林上》上这句话，简单二十多字说明了一个朴素而重要的道理，即使在科技发展日新月异的今天依然有其现实意义。在智能应用中，因为时间敏感性而舍云端（远）智能而用边缘（近）智能的应用场景比比皆是。

例如森林火灾监测，公路、铁路或者是大坝塌方监测，这些地方都普遍比较偏僻，通常没有很好的通信网络，但快速决策和预警非常关键，因此必须进行边缘端快速判定。“这种应用时间敏感性非常高，传统的云端监测，可能需要发送一组图片到云端，对网络流量要求比较高。通过监测端自主智能识别，在状况发生时只需要发短信息就可以快速实现安全告警，避免更严重的灾害损失发生。” 李勇指出。

“这些应用除了需要边缘端快速智能决策，对功耗敏感性也决定了需要进行边缘端自主决策，任何一次更换电池的运维成本可能比设备本身更贵。”李勇道出了另外一个关键点。边缘智能决策的好处是避免频繁的数据传输、数据采集导致的高功耗，因此这也让这些应用场景对边缘智能方案的低功耗特性提出更高的要求，当前市场通用的MCU或FPGA的智能解决方案，在电池供电的低功耗边缘端智能应用中依然面临挑战，市场需要更具超低功耗特性的新一代解决方案。

今年3·15晚会暴露的“行走的追踪器”——儿童智能手表被黑客入侵成为了窃听器；2021年，某品牌摄像头事件数万条家庭偷拍视频被传播售卖；2021年家庭物联网Pink事件，导致国内受控智能家居设备超过百万......近年来，随着具备音频监测和视频监测功能的智能设备的普及，类似的信息安全事故层出不穷。“这些智能设备需要将边缘端监测的数据传到云端进行数据处理，没有人希望家里有一个设备可能随时通过画面或语音监测你家里活动情况，你不能确定这些音频和图像数据是否会被别有用心的人所利用。”李勇指出。

让智能从云端走向边缘

这四大核心能力不可或缺

AI技术使机器能够以之前完全不可能的方式来观察、聆听和感知世界。过去，将AI推理布置到边缘意味着从传感器、摄像机和麦克风收集数据，然后将数据发送到云端实现推理算法，再将结果送回到边缘。由于延迟和能耗较大，这种架构对于边缘普及极具挑战。作为替代方案，低功耗微控制器可用于实施简单的神经网络运算，但延迟会受到影响，且只能在边缘执行简单任务，对于更加复杂的边缘智能如何落地？ADI集成神经网络加速器的MAX78000低功耗微控制器通过独特的架构设计提供了新的选择，在算力、功耗、延迟和集成度等方面实现了关键性能的平衡，为机器视觉、面部识别、目标检测和分类、时序数据处理和音频处理等应用提供了一个理想选择。在近日由电子发烧友网和ELEXCON 2022深圳国际电子展暨嵌入式系统展、第六届中国系统级封装大会暨展览联合主办的第三届中国人工智能卓越创新奖颁奖典礼上，MAX78000也荣获“最具创新价值产品”。

边缘智能的典型应用场景是声音识别和图像识别，而众所周知，卷积神经网络（CNN）是广泛重视的一种高效识别方法。卷积神经网络以其局部权值共享的特殊结构在模式识别方面有着独特的优越性，CNN算法在人工智能之机器学习、语音识别、文档分析、语言检测和图像识别等领域等有着广泛应用。MAX78000的核心即是神经网络加速器，它是针对语音和图像识别专门设计的运算加速硬件，可以最大限度地减少卷积神经网络的功耗和延迟。

“我们看到市场上有很多边缘智能处理器实际上只是支持软件的算法，而不是硬件实现加速。MAX78000采用了64个CNN处理器，并行的处理器可以支持最多的卷积预算层数和通道数。”李勇指出，“MAX78000的CNN加速器完全是专有的，而且非常新颖，它的设计目标是最小化数据移动，这是众所周知的对芯片功耗的一个重大负担，尤其是在处理CNN中复杂的配置时。”

此外，MAX78000还集成了两个MCU核心用于系统控制，即Arm Cortex-M4处理器和32位RISC-V处理器，其中Arm Cortex-M4F处理器以100MHz运行，客户可以编写任何系统管理代码，RISC-V处理器的独特功能是支持以低功耗将数据快速加载到神经网络加速器，用户可使用任何一种微控制器内核将数据输入到卷积神经网络的引擎中。而MAX78000具有432KB的权重存储空间，与运行在低功耗微控制器上的软件解决方案相比，在配置并加载了数据后，MAX78000运行AI推理的速度快了100倍，功耗还不到其1%。

“低功耗是很多边缘智能应用场景的关键要求，MAX78000除了基于CNN加速器和双核处理器架构，还提供高效的片内电源管理，集成单电感多输出 (SIMO) 开关模式电源，最大限度地延长电池供电的物联网设备的续航时间。”李勇表示，“很多应用需要产品集成度高、体积小，基于MCU或GPU或FPGA的方案很可能放不进去，这些方案通常还需要片外存储器、PMIC，方案无论成本、尺寸还是功耗都具有很大挑战性。”

优化声音识别和图像识别应用

聚焦边缘智能主赛道

5G与物联网的发展以及各行业的智能化转型升级带来了爆发式的数据增长，而海量的数据将在边缘侧积累，建立在边缘的数据分析与处理将成为智能市场增长的主力。“基于云计算的边缘智能可能只适合一些大企业的应用，例如几万个、几十万个客户来支持一个服务器，能够支撑云端的成本。很多基本的控制应用，边缘端的自主智能更具成本效应，也符合隐私保护的考虑。”李勇指出。

随着数据规模的不断扩大，云计算在时效性、传输距离、安全性等方面的不足使得其在工业制造、自动驾驶、远程医疗等场景下明显力不从心，边缘侧的重要性日益显现。更靠近数据源的边缘计算不仅能提供低时延、高可靠服务，还能同时保证数据安全、处理实时性。IDC预测，未来超过50%的数据需要在边缘侧进行储存、分析和计算，这就对边缘侧的硬件系统提出了更高的要求。

边缘智能中，声音智能识别和图像智能识别是其中最主要的应用领域，仅智能音箱2021年市场出货量就达3896万台，各种基于人脸识别的智能门禁、考勤机、闸机应用层出不穷。“基于语音与人脸识别的边缘智能是当前市场的重要领域，ADI的MAX78000针对这类应用从产品方案到工具优化以及生态上提供了丰富的支持。”李勇表示，“智能识别数据的收集和数学模型的建立跟训练很重要，为此ADI提供了声音识别和face ID 识别demo程序供客户下载和学习，在其基础上进行修改。我们也有非常有经验的第三方生态伙伴，提供数学模型的训练与数据的收集。”

据悉，MAX78000目前已经在森林防火监测、地质灾害监测以及智能家居等领域获得广泛应用。“很多类似但并不涉及到公共安全的应用也需要实现本地快速智能决策，比如有用户就针对摩托骑行爱好者希望在骑行中能对头戴摄像头实现随时随地的语音控制开发产品，类似的还有助听器的语音控制、风力发电设备的安全监测这样的预测性维护等等。”李勇补充道，“这种基于超低功耗硬件算力，高集成度、小尺寸且低成本的边缘智能解决方案的推出，正在为越来越多的应用领域提供真正可行的智能赋能方案，我们看到类似的各种创新应用正在层出不穷地推出。”