Mythic公司公布模拟AI芯片战略，把所有东西放在内存里

说到人工智能硬件，我们向来事无巨细。WikiChip密切关注的一家公司是Mythic。这家公司还没有完全公开他们的架构和产品，但一些细节已经开始慢慢浮出水面。在最近的人工智能硬件峰会上，该公司的创始人兼首席执行官Mike Henry绍了该芯片的最新情况。

这家位于奥斯汀的初创公司由Mike Henry和Dave Fick于2012年创立，最近完成了7000万美元的B轮融资，总融资额刚刚超过8500万美元。如今，公司员工已增至110人。
Mythic是一家模拟公司。但是，在我们探讨细节之前，必须指出，它们目前仅专注于推理，无论是在数据中心还是在边缘。到2024年，这两个市场的TAM（Total Available Market总体有效市场）

预计将达到250亿美元，这就是为什么这里有如此多的关注点的原因。从长远来看，Mythic计划针对大众市场的消费品和汽车产品。

把所有东西都放在芯片上，放在闪存里

随着模型准确性的提高，其大小也会随之增加。如今，模型达到了数亿个参数，甚至达到数十亿。最重要的是，通常实时地需要确定性行为，例如一致的帧速率和延迟。这就是Mythic的作用。Mythic的论点很简单:将足够的存储与大量并行计算单元打包在芯片上，以最大化内存带宽并减少数据移动的能力。但是有一个转变——这就是Mythic的原始方法的闪光点——该公司抛弃了传统的SRAM，转而使用更密集的闪存，此外，Mythic还计划在模拟环境下直接在内存中进行本地计算。

但是为什么是闪存?答案很简单:因为它密度大，功耗低，而且便宜，几乎比SRAM的密度大两个数量级。

理论上，Mythic的芯片更像内存，而不是传统的CMOS。从更长的路线图来看，随着SRAM  bit cell的扩展变得越来越困难，它带来的好处也越来越深远。总的来说，从每美元的性能、每单位成本的密度和每瓦特的性能来看，这是一个潜在的巨大胜利。

多年来，我们看到了一大堆路线图，当他们开始谈论未来10年的时候，很容易忽视它。但对Mythic来说，有一些不同之处。值得特别指出的是，目前Mythic正在研究40纳米的嵌入式闪存。他们有一个相当清晰的28nm和22nm的路径，因此，粗略地说，这个图的一半是基于今天已经发布的现有节点。

Mythic公司的首席执行官Mike Henry似乎相信他们可以继续这样做，但是尽管正在进行一些工作以继续扩展到16/14纳米节点，还不清楚它是否会上市。

许多业内人士认为，嵌入式闪存在22纳米的时候遭遇了瓶颈。在与Mythic的一次简短交谈中，他们告诉我们，他们并没有与嵌入式闪存结合，如果其中一项新兴技术(如多位ReRAM、PCM或NRAM)作为一种强大的替代技术出现，他们肯定会考虑迁移到这种技术。

IPU

Mythic的芯片被称为IPUs或智能处理单元。在外设方面，该芯片非常简单，由PCIe的x4通道和DNN平铺网格组成，PCIe是负责整个芯片管理的基本控制处理器。由于芯片的设计是为了存储整个模型，没有DRAM。

Mythic表示，由于这是一个基于tiles的设计，如果有需求，他们可以通过添加直接的音频/视频和各种其他接口来进一步定制。在去年的Hot Chip上，Mythic谈论的是一款5000万权值（weights）的初始产品。在最近的人工智能硬件峰会上，Mike Henry表示，初始产品权值将达到1.2亿，这比最初的计划要多很多。在富士通的40nm制程中，近标线全尺寸芯片应具有约300M权值的容量，因此120M仍然是一个相当大的芯片。

IPU的作用是作为一个连接到主机的PCIe加速器。对于大型模型或多个模型，可以使用多个IPU。模型最初被加载到IPU中，并保持静止。没有DRAM和编程闪存相对较慢，因此模型应该能够适应芯片与多个应用映射到同一芯片。这对于许多边缘应用程序来说非常典型。在正常操作下，主机CPU将数据发送到IPU，并通过PCIe端口接收结果。

IPU总体设计（WikiChip）

该芯片由DNN tiles构成网格。在一个tiles里面是一个模拟矩阵乘法器，它建立在一个巨大的嵌入式闪存池的顶部，用来计算权值。嵌入式闪存单元使用浮动栅极通过存储电荷、控制阈值电压来存储位。晶体管支持256级电导（G=1/R）之间的完全关闭和打开状态，Mythic用它来表示8位值。

通过将所有神经元的权值映射到闪光晶体管上，他们可以利用欧姆定律自然地进行矩阵乘法运算。实现的方法是使用闪光晶体管将权值表示为可变电阻。这在计算之前执行一次。使用8位DAC，输入矢量作为一组电压通过可变电阻。根据欧姆定律，输出电流是输入数据与权值向量(I = V x G)相乘的结果。最后，一组adc将产生的电流转换回数字值，成为输出矢量。ReLu和其他各种非线性操作也由adc在那个时间点完成。

围绕这个组件还有一些额外的逻辑。不管工作条件如何，DAC/ADC封装器都会进行补偿和校准，以获得精确的8位计算—类似于今天的图像传感器所做的工作。

模拟矩阵乘法（wikichip）

需要指出的是，这个方案没有实际的内存访问。矩阵相乘是在内存中完成的，利用欧姆定律，所以没有权值访问能量。使用固定权值时，也没有批量大小或其他特殊处理。虽然固定容量可能会带来一些问题。顺便说一下，它们支持神经元稀疏，但不支持权值稀疏性。

有趣的是，Mythic说，对于他们的第一代，为了加快开发和上市时间，他们不会使用DAC作为输入。相反，他们使用一个数字近似电路，由此分别计算每个输入位，然后累加结果。他们将在将来用DAC消除这种情况，这有望为他们提供一些很好的改善。