Apple Vision Pro的空间计算与主要芯片

作者：千芯科技 陈巍

在WWDC 2023 开发者大会上，苹果宣布了其操作系统和产品的一系列升级。但最大亮点是Apple Vision Pro，苹果的首款混合现实（Mixed Reality，MR，即VR+AR）设备，一经发布就成为世界热议的焦点。

“今天标志着计算技术新时代的开端。”苹果CEO库克说，“如同 Mac将我们带入个人计算时代，iPhone将我们带入移动计算时代，Apple Vision Pro将带我们进入空间计算时代。

1. 空间计算

空间计算是麻省理工学院Simon Greenwold 在其2003 年的论文中引入的一个术语。空间计算的实用化建立在人工智能 (AI) 、计算机视觉、芯片与传感器的技术进步之上。典型的空间计算包括自动化仓储、自动驾驶、工业制造、教育培训、游戏娱乐等应用场景。

例如在自动驾驶领域，通过多传感器融合和多模态计算，来识别周边环境、移动物体和人就是典型的空间计算。通过更强的算法和芯片，车辆就可以挑战更复杂的地形和驾驶场景。

空间计算市场的年复合增长率为18.3%（来源：http://market.us）

空间计算可以用人工智能、物联网、增强现实等技术取代旧场景的计算。据国外市场研究机构评估，新技术进步的引入、智慧城市项目的发展以及物联网/车联网渗透率的不断提高，空间计算解决方案的需求会产生18.3%的年复合增长率。

3自由度与6自由度对比（来源：Qualcomm）

MR 感知和重建现实使用SLAM技术来完成，该技术经常使用在自动驾驶和机器人领域。基于SLAM技术扫视周围环境信息， 使用二维图像构建三维空间。

据称Apple Vision Pro 具备6自由度（6 DoF- Degree of Freedom）级别，用户视角在虚拟场景中不仅可以在俯仰、偏摆及翻滚三个维度旋转，用户的身体还可以在前后、上下、左右三个互相垂直的坐标轴上进行运动。

典型的3自由度与6自由度XR产品（来源：Raddit）

传感器处理芯片R1

Apple Vision Pro的核心芯片包括传感器处理芯片R1和计算芯片M2。除了这两颗核心芯片外，Apple Vision Pro还具有17个传感器、6个麦克风和两块4K级别的Micro LED作为显示。

据苹果称，新的R1芯片可减少 VR 中的晕动症，其多模态处理时间仅为 12 毫秒。R1芯片是首次在苹果产品家族中正式亮相，目前披露的消息还很少。

R1与M2是Apple Vision Pro的核心处理器（来源：Apple）

在iOS 13 中的代码，早就揭示了这一新的协处理器的存在。R是其研发代号“Rose”的简写，当然我们也可以猜测R也代表了Reality。Rose 协处理器的第一个迭代版本 R1 (t2006) 有点类似于 Apple 的 M 系列运动协处理器，可以计算设备在空间中的位置，其核心功能是从主系统处理器中卸载大量的传感器数据处理工作。

R1架构与周边连接估计（作者团队绘制，转载请注明来源）

早先的Apple M系列运动协处理器可以在系统主芯片休眠时，持续收集、处理和存储传感器数据的功能，方便应用程序在设备启动时检索数据。这减少了设备的功耗并延长了电池寿命。我们猜测R1处理器也有类似的功能。

R1 的特别之处在于比之前的运动协处理器接入了更多的传感器，具备更强的处理能力，以生成更准确的设备位置图。R1处理器目前可集中处理来自陀螺仪、加速度计、气压计和麦克风的多模态数据，并增加了惯性测量单元 (IMU)、蓝牙 5.1、超宽带 (UWB) 和摄像头（包括运动捕捉和光学跟踪）传感器数据的多模态计算支持。其中蓝牙 5.1 的到达角 (AoA) 和出发角 (AoD) 功能可实现蓝牙测向。

考虑到R1芯片对接的传感器需要实时计算，可以预估R1是一颗低功耗低延迟的多模态传感器融合计算芯片，其上定制了传感器常用的算子电路，并且具备NPU来支持基于AI的传感器算法。

M2主要指标（来源：http://notebookcheck.net）

应用处理器M2芯片

Apple M2 是 Apple 的片上系统 (SoC)，之前已经用于MacBook Air 和 MacBook Pro 13。

M2架构（来源：苹果）

M2具有8 个CPU内核，分为4个性能内核和4个能效内核。性能内核提供 192 KB 指令缓存、128 KB 数据缓存和 16 MB 共享二级缓存。效率内核要小一些，仅提供 128 KB 指令缓存、64 KB 数据缓存和 4 MB 共享缓存。效率内核时钟频率为2.4 GHz，性能内核的时钟频率则到达 3.5 GHz。另外M2 中的集成显卡提供8-10 个内核以及 3.6 TFLOPs 的峰值算力。此外，SoC 集成了一个具有 16 TOPS 峰值性能的高速16 核神经网络加速器（属于DSA，用于 AI 计算加速）。

M2算是Vision Pro里的电老虎了，占据了主要的功耗。

M2与M1对比（来源：http://anandtech.com）

M2特色是其采用统一的 CPU 和 GPU 内核内存架构，支持高达 24 GB LPDDR5-6400，带宽高达 100GB/s。内置于 M2 芯片中的统一内存架构意味着 CPU、GPU 和其他处理器组件无需在彼此之间重复复制数据，并且能够访问统一的数据池。

(Blue=GPU, Yellow=P-CPU, Green=E-CPU, Red=Neural Engine, Pink=System Level Cache , Orange=De-/Encode。来源：High Yield)

ICVIEWS智库专家

陈巍博士

千芯科技董事长，存算一体/GPU架构和AI专家，高级职称。中关村云计算产业联盟、中国光学工程学会专家。曾任AI企业首席科学家、存储芯片大厂3D NAND设计负责人，领军大陆首个3D NAND闪存设计团队、eFlash IP核编译器、RISC-V/x86/arm兼容AI加速编译器，相关工作对标三星、台积电、SST。毕业于清华大学，中美发明专利与软著70+。