采用StratixII系列FPGA器件实现运动视觉处理系统的设计

随着深亚微米工艺的发展， FPGA 的容量和密度不断增加，以其强大的并行乘加运算（MAC）能力和灵活的动态可重构性，被广泛应用于通信、图像等许多领域。但是在复杂算法的实现上，FPGA 不如嵌入式处理器方便，所以在设计具有复杂算法和控制逻辑的系统时，往往需要和嵌入式处理器结合使用，这就是 SOPC（System on a Programmable chip，可编程片上系统）技术。 SoPC 是 SoC 和 FPGA 结合的产物，由单个可编程重构的芯片完成整个系统的主要功能。SoPC 设计灵活多变，可以用原理图，硬件描述语言甚至是 C/C++高级语言进行设计；同时还具有可重构、可裁减、可扩充等特点，升级方便。 SoPC 兼备 SoC 和 FPGA 二者的优点，具有如下特点：

●丰富的 IP 核资源，包括通用 IP 核和专用的 IP 核

●在系统可编程，设计、编译、下载与调试简单方便

●内置嵌入式软核处理器，存储器，外设接口控制器

●大量可编程重构的逻辑资源

●功能强大的时钟管理电路

●支持多种 I/O 接口标准

此外，由于减小了处理器和存储器之间的传输线距离，SoPC 无论在速度，还是信号完整性，电磁兼容等方面，比板级系统都有明显的优越性。

1 、功能框图

在数字视频视觉采集与处理板级系统开发的基础上，本文采用 SoPC 实现运动视觉处理与控制系统的设计方案。硬件采用 Altera 公司 StratixII 系列 FPGA，软件开发工具包括 QuartusII，NiosII5.1 IDE，DSP Builder，MegaCore IP Library5.1 和 Matlab7.0 等。整个 SoPC 系统工作原理为：摄像头采集的视频图像数据由图像传感器接口进来；数字信号处理块和数字图像与数字视频处理 IP 核完成视频图像的处理，如运动检测、分割、特征提取、压缩等； Nios II 嵌入式处理器主要完成整个系统的控制功能；I2C 总线用于访问 CMOS 图像传感器的内部寄存器；PC 机可以通过 USB 接口访问 SoPC，如果距离较远的话，可以通过以太网口进行数据的传输；视频图像及其处理后的结果既可以通过外部存储器接口存放在 CF 卡， FLASH 等存储介质中，也可以通过 LCD 显示器接口在液晶显示屏上直接显示。该运动视觉 SoPC 的功能框图如图 1 所示：

该模块主要负责视频图像的采集，摄像头参数的设置和云台步进电机的控制。其中，通过 I2C 总线可以设定摄像头内部控制寄存器。在 FPGA 中，实现 I2C 总线控制器的途径有两种：一种是在 Nios II 中用软件模拟实现；另一种是采用第三方，比如 Sciworx，CAST，Digital Core Design 等公司提供的 IP 核。这些 IP 核具有工作参数，可以根据需要进行设定。以 CAST 公司提供的 I2C 总线控制器为例，传输速率最高为 100Kbps，可以工作在 4 种模式下，分别是主发送器模式、主接收器模式、从发送器模式和从接收器模式。双路 CMOS 图像传感器接口控制视频图像采集的时序，帧同步和行同步；云台控制信号是根据视频图像处理后的结果，控制云台的两个步进电机的转动。这两个模块需要自己开发，形成具有自主知识产权的 IP 核。

2、 视频图像处理模块

该模块包括 NiosII 32 位嵌入式处理器，数字信号处理块，数字图像与数字视频处理 IP

MegaCore，以及其他一些逻辑电路，这是运动视觉处理与控制 SoPC 设计的重点和核心，分别分以下几个部分介绍。

（1） Nios II 嵌入式处理器

Nios II 嵌入式处理器是一款通用的 RISC 结构的 CPU，它定位于广泛的嵌入式应用。在 Nios II IDE 集成开发环境中，按照操作提示添加、设置相关参数，在几分钟之内就能生成一个 Nios II 嵌入式处理器。其硬件开发过程为：

① 分析系统所要完成的功能、达到的性能

② 启动 SOPC Builder，选取具体的 FPGA 型号

③ 定义 CPU，外围器件，存储系统等模块

④ 为各个模块分配基地址和中断请求号（IRQ）

⑤ 生成 Nios 系统模块，引脚锁定，编译软件开发过程为：

① 在 SOPC Builder 中启动 Nios II IDE

② 创建 C/C++软件工程，并指定目标硬件

③ 利用工程模本编写相应的程序

④ 编译后，即可下载到硬件中运行

Nios II IDE 中可以采用 C/C++或者汇编语言进行程序的编写，其文件扩展名分别为 .c 和 .s。一个单独的 Nios II/f CPU 大约需要占用 1800 个 LEs，如果再添加一些定时器，外围器件等，那么占用的逻辑单元会进一步增加。

（2）数字信号处理块

StraTIx II 系列 FPGA 内部具有数字信号处理块（ DSP Blocks，DSP 块）。数字信号处理块可以支持不同数据宽度的乘法器（ 9×9、18×18、36×36）和操作模式（乘法运算、复数乘法运算、乘加运算和乘法累加运算），每个 DSP 块提供了 2.8 GMACS 的 DSP 数据吞吐量。最大 StraTIx II 器件 EP2S180 内部含有 96 个数字信号处理块，能够提供了 284 GMACS 的吞吐量，可以支持 384 个 18×18 乘法器。此外，数字信号处理块增加了新的舍入和饱和支持，便于将 DSP 固件代码导入 FPGA。一些应用如话音处理，由于存放数据的存储缓冲是固定宽度，可以使用舍入和饱和。现在采用了支持舍入和饱和的数字信号处理块，可以很方便地将基于 DSP 处理器的设计导入到 FPGA 中进行实现。

在 Altera 的可编程器件上进行 DSP 系统设计，需要有同时支持高级的算法和硬件描述语言的开发工具。MathWorks 的 MATLAB 和 Simulink 系统级的设计工具具备了算法开发、仿真、验证能力。Altera 的 DSP Builder 将这些工具与 Altera 的开发工具组合在一起，提供了一个系统设计、算法设计和硬件设计共享的 DSP 开发平台。

（3）视频图像处理 IP 核第三方提供有许多应用于通信、图像编解码、视频处理的可定制 IP 核。合理地利用这些 IP 核，在保证性能与可靠性的同时，可以大大缩短开发时间。下面介绍的是色彩空间转换 IP。

CSC（Color Space Convertorr）是 Altera 公司提供的 MegaCore IP 库文件中的一个专门用于图像色彩空间转换的 IP 核，与软件转换相比，其具有明显的速度优势和灵活性：

● 每个时钟周期完成一个像素点的转换

● 在 StraTIx 系列 FPGA 中，时钟频率大于 200MHz

● 支持 RGB 和 YCbCr、YUV 之间的互换

● 用户可以自定义转换矩阵的相关系数

● 支持有符号数和无符号数

输入输出的数据宽度为 2～32b 4 RAM 数据缓冲区 StraTIx II 系列 FPGA 最多包含有 9Mb 的片上 RAM。这些 RAM 采用 TriMatrix 存储结构，包括三种大小的嵌入式存储器块，分别为： 512b 的 M512 块，4Kb 的 M4K 块和 512Kb 的 M-RAM 块，每个都可以配置支持各种特性，如单端口 RAM，双端口 RAM，FIFO 等，为大存储量应用提供解决方案。

3、 外部存储器和外设接口

Stratix II 系列 FPGA 为外部存储器的可靠数据传送而进行了优化设计，支持最新的存储接口访问片外存储器。开发人员使用 Stratix II 先进的器件特性和可定制的 IP 核，能够快速和方便地将各种大容量存储器件集成到复杂的系统设计中。Stratix II 支持各种最新的存储接口。Stratix II 系列 FPGA 片内处理器与外设之间是通过 Avalon 交换式总线连接的。 Avalon 交换式总线是 Altera 开发的一种专用内部连线技术，使用最少的逻辑资源来支持数据总线的复用、地址译码、等待周期的产生、外设的地址对齐、中断优先级的指定等。外设接口可定制的 IP 核有 USB、I2C、Ethernet、PCI 等控制器，这些 IP 核大多是由第三方提供的，可以免费试用，也可支付部分费用购买。本系统采用的 USB2.0 控制器和以太网接口控制器均由 Mentor 公司提供。

4、时钟管理电路

Stratix II 系列 FPGA 具有多达 48 个高性能的低偏移全局时钟，它可以用于高性能功能或全局控制信号；多达 12 个可编程锁相环（ PLL），具有完备的时钟管理和频率合成能力，包括时钟切换、PLL 重配置、扩频时钟、频率综合、可编程相位偏移、可编程延迟偏移、外部反馈和可编程带宽。Stratix II 有两类通用的 PLL：增强型 PLL 和快速型 PLL。增强型 PLL 功能丰富，支持外部反馈、扩频时钟、可编程带宽等；快速型 PLL 针对高速差分 I/O 接口进行了优化，具有动态相位调整（ DPA）功能。这些高速时钟网络和丰富的 PLL 结合起来，为系统在最小的时钟偏移下工作提供有力的保证。

5、 SoPC 的其他组成部分

FPGA 配置接口用于 SoPC 的配置、编译和在线调试； LCD 显示接口可以外接液晶显示屏；报警信号是在检测和识别出运动目标时，发出的声音或光电信号，可用于安防；标准

I/O 口则是预留的，用于日后的升级扩展。

创新点：SoPC 概念提出以前，电子系统的集成设计主要以板级为主，这种设计方法随着系统时钟频率的不断提高和电路功能的日趋复杂，实现的难度越来越大，电磁干扰和信号完整性问题日益突出。仅靠优化 PCB 的布局和布线，已经不能满足高速信号的传输和处理要求。随着半导体工业的不断发展，可编程片上系统以其较高的性能、可靠性，较低的功耗、成本和良好的便携性将成为未来电子产品开发设计的主流。而运动视觉 SoPC 更好地解决了板级电路的一系列问题，并可广泛应用于安防监控、视觉导航、智能交通等众多领域，必定会有良好的市场前景。