Orion AI 独有的技术打破SoC总线瓶颈助力人工智能时代

随着物联网、云计算、大数据的高频出现，人工智能被推向了新的高潮，其实早在上世纪40年代人工智能就已诞生，经历一波三折，今天的人工智能是在谷歌AlphaGo大战围旗世界冠军李世石之后再次被炒到了新的高度。然而，人工智能正奔向更多新的应用，自动驾驶、自动工厂、自动零售业等等，并因此被成熟的商业模式接受，开始在产业界发挥出真正的价值。

据业界知名人士分析，在这方面我国的多项技术已处于领先地位，十九大报告明确提出，“推动互联网、大数据、人工智能和实体经济深度融合”。在技术及政策背景的大力推动之下，中国先后诞生了一大波的创新型企业，就人工智能板块而言，像寒武纪、地平线、深鉴科技这些公司是近两年出镜率最高的AI算法＋芯片的公司。百度这样的互联网巨头也早在几年前就看到了人工智能的前景，李彦宏干脆把人工智能直接定义为公司下一步的发展方向，并且一度想要把百度无人驾驶汽车量产日提前；阿里公司也并不甘落后，将AI应用到线下零售门店，无人超市便是他的试水之作。之所以人工智能被高度关注，原因很明显，这是一次正在兴起的产业革命，未来10年人工智能将为世界带人颠覆性的变化。

谈到人工智能不得不说一下“大数据”，然而大数据单独出现并没有多大的重要性，重要的是通过人工智能去处理这些大数据使其发挥应有的价值；另外，“算法”称得上是人工智能很重要的一个部分，即现在的神经元模型，在这方面对于我国这些做AI算法的公司而言已并不算难题；难的是计算和处理能力的问题，人工智能时代数据量呈现爆发式增长，原来的Soc最多集成10个运算单元或控制单元，但下一步人工智能时代将会有上千个运算单元连接起来，内核数量增多，大量并行结构，点对点的通信，并且要保证数据的正常交换，对性能、速度、带宽有着更高的需求。

在美国硅谷有这么一群从思科和华为走出来的互联网工程师，他们预测下一轮半导体设计最大的挑战是把所有的东西连在一起，且数据在交换时仍可以得到应有的频率和宽带。为解决这种挑战，他们在2011年创办了一家公司叫NETSPEED，专注于为网络系统和高性能计算等市场的片上系统设计人员提供扩展性的缓存一致性片上网络IP。也许正是因为其团队的互联网背景，他们在人工智能盛行的今天为SoC提出以人工智能的办法，去解决芯片内部的各个运算单元之间的互连问题，这种智能的方案就是把互联网的技术搬到芯片设计上，打破总线瓶颈。

前不久在一次发布会上，NetSpeed Systems大中华区销售总监黄啓弘向记者表示，NetSpeed在一个合适的时间点上为人工智能提供了一个高性能、高效率的互连技术方案，该技术已授权给地平线、寒武纪、百度以及Esperanto等领人工智能公司。

图：NetSpeed Systems大中华区销售总监黄啓弘

“这些新SoC内部体现出的是一种新的数据流，”NetSpeed首席执行官SundariMitra说，“一般来说，想实现快速有效的点对点数据交换，就需要大量的计算单元。传统架构运行方式不同，采用中央存储作为数据交换系统。而人工智能系统需要任意位置数据交换，这可以通过广泛的接口而实现，并需要支持长突发传输。Orion AI的一个关键优势就是能够支持多重多播请求，并支持非阻塞传输。”

Orion AI 打破SoC总线技术瓶颈助力人工智能时代

以自动驾驶为例，进入自动驾驶四级，是需要汽车完全依靠自行判断道路的状况，来采取相应措施的。用黄啓弘的话来讲，“人类真正第一次将生命交给了半导体。”随后他解释道，应用在汽车上的人工智能芯片单元总线设计相当复杂，通过各种影像、反馈、处理、判断、执行等等众多的步骤在最短的时间内使汽车自动地做出选择并采取正确措施，才能保证驾驶的安全性。这一系列的程序均需要无论是毫米波雷达、传感器、运算器等高灵敏度的协作。由此可见半导体间的互连是多么重要！那半导体同行又要用什么机制去保证这套线路的通畅呢？在芯片内部，传统的神经网络计算采用大型矩阵乘法，如此复杂的运算在时间点上必须准确且具备更高的性能。那问题自然来了，今后应用在上千个运算单元之间，每次都要重复的计算再传输到下一个单元，再次迭代，如此一来，运算单元不仅量在增加，而数据吞吐量也在加大。如何在一个非常庞大的复杂的运算单元里把总线做好呢？让我们看看Orion AI是如何做到的？

这款用于片上互连的技术，NetSpeed把它称为Orion AI，采用解耦架构，分层堆叠，每层均可扩展或收缩。它将运算单元分组，通过网络中的桥把数据包送出，这样的好处是可实现可编程多播，将一组数据选择性的送给几个点，动态控制下一点到多点的传播，以提高效率，是最早也是目前唯一支持基于广播推送的可配置多播网络IP。具备端到端的Ｑos规划，支持非阻塞路径来控制带宽与延迟。以及支持无需回应的发送信息模式，支持与片上网络解藕。

图：Orion AI 架构图

图：传统人工智能工作负载的独特性

另外，在性能方面，有着万亿字节每秒吞吐量－数据带宽高达1024位总线，甚至可以更高，频率达2GHz＋，支持达1000个内核；在效率方面，采用先进低功耗管理技术以提升能效，即便在关闭一部分总线的情况下，芯片依然正常运转；内置人工智能。

为让工程师更好的应用该技术，他们还提供了一整套的解决方案，包括输入输出的平台。工程师只需把自己的需求输入到平台，平台自动生成结果，同时可以支持手动再干涉，每一次均会有模型的生成，从而更直观的看到设计结果，加速开发周期。值得一提的是，NetSpeed是在互连领域中唯一一家可以做到ASIL－Ｄ等级，也就是安全性最高等级，是ISO 26262标准下的一项最重要的安全风险等级。他们可以提供整套文件给用户，以方便用户很容易的与芯片公司联合把系统做好得到ISO认证。

虽然NetSpeed是一家IP公司，但黄啓弘还是向公司提议，将该技术无需加密直接连到云端，提供给中国用户。目前该公司在中国有五名员工，负责支持与销售工作，已经与地平线、寒武纪、百度等知名公司进行合作，并得到一致认可。