一个典型的数据处理和实时数据记录系统方案

2011/04/12 联系我们

1.1 项目需求分析:雷达、声纳中间的电子控制系统是典型的数据流驱动系统。随着雷达、声纳性能的不断提升, 人们对数据流相关的前端先后采集、信号实时处理和原始数据存储提出了更高的要求。对于 1.0GBps 的高速数据流系统, 传统的并行总线如 VME, cPCI等已经不再适用, 而可以实现高速、点对点的串行交换的VPX 总线为该技术需求提供了实现的可能。该项目技术需求如下:

  •   可以接收 1.0GB/s 数据流输入
  •   数据高速存储, 存储速度 1000 MB/s
  •   存储容量: 1TB
  •   存储系统使用单一文件系统管理
  •   使用更适用恶劣环境的NAND FLASH或电子盘作为存储介质
  •   接收到的数据实时处理
  •   现场总线: 6U VPX

 

1.2 系统方案描述                                        

    该系统由单板计算机 SBC610, 多处理器板卡DSP230, RAID控制器SATA 接口的电子盘组成。这些板卡共同插在一块VPX 背板上。

  . SBC610 XMC 接口背高速A/D 采集卡, 实现数据采集。

  . SBC610通过一个或多个 x4 sRapidIO分别与存储单元的RAID控制器和 DSP230 互联, 实现数据分发到存储单元,实时处理在 DSP230 上进行。

  . RAID 控制器则通过 8 SATA 口与电子盘互联, 实现高速存储。

RAID 控制器可以通过后出线引出 GbE 10GE, 实现数据快速回放。

系统硬件示意图见图 1-1

 

 

2011131143116.JPG

 

 

  1-1 系统硬件示意图

 

1.3 方案分析

1.3.1 数据采集时序图

    采样触发信号控制高速 ADC 按照采样时钟进行数据采集。采集的数据先进行打包, 数据打包完成后利用 PCIe MSI 中断通知 Host, Host 起动 DMA 进行数据搬运到内存。Host 利用 DMA 搬运 ADC 采集的第 N 个原始数据包同时, 同时启动 DMA 把第 N-1和第 N-2 个数据包从内存到存储和实时处理单元。在第 N+1 个原始数据包打包完毕前, N-1和第 N-2 个数据包需要已经搬运完毕。数据采集时序图见图 1-2.

 

 

2011131143220.JPG

 

  1-2 数据采集时序图

 

1.3.2 FPGA 方案分析

    在该系统中, SBC610 起到协议转换的作用, 即把PCIe 协议发出的数据转换成 sRapidIO 协议输出。

    在ADC 后端的 FPGA 增加 sRapidIO IP core, ADC 采集的数据通过 sRapidIO 分别发送到存储和实时处理单元, 则避免了 PCIe sRapidIO协议转换, 同时ADC 采集和数据分发则可以集成在一块板卡上实现。

    符合要求的 FPGA 方案要么缺少成熟的产品, 要么实现成本比较高。使用 SBC610 等成熟的产品, 则可以把该系统技术难点集中在高速存储上。高速存储难点解决以后, 再重点实现基于 FPGA 的数据采集和分发解决方案。这样的技术演进路径可以有效地分散技术难点, 降低项目风险和实现难度。

 

1.4 存储单元方案

1.4.1 高速存储难点分析

    如果选择 NAND Flash 作为高速存储系统的存储介质, 以每片 NAND Flash 写入速度为 10MB/s, 1.0GB/s 的存储速度需要超过 100 NAND Flash 并行存储。控制和管理 100 NAND Flash 并行工作技术难度比较大。

    此外, 高速存储系统还涉及的技术难点包括:

  . 如何优化底层存储驱动,

  . 如何管理RAID 协议栈,

  . 条带数据与校验、容错数据如何同步产生,

  . 如何支持支持灵活的条带数据大小,

  . 如何保证操作系统的实时性

 

1.4.2 高速存储解决方案
    北京石竹科技有限公司提供的解决方案是基于电子盘的 RAID 系统。该系统由RAID 控制板和电子盘存储阵列组成。RAID 控制板使用 sRIO 接收数据, 使用多条 SATA 线缆与 SATA 接口电子盘存储阵列互联。 RAID 控制板提供多个 GbE 10GE 接口进行数据回放。系统架构如图 1-3

 

2011131143427.JPG

1-3 存储系统架构

 

1.4.3 可扩展性分析

      RAID 控制板可以可以外接 8 SATA 接口电子盘。利用SATA 口端口扩展器 (Port Multipler), 同一个 SATA 口可以扩展为1-16 个接口。每块电子盘容量以 128GB计算, 8 块电子盘的总容量可达 1TB。系统如果需要更大的存储容量, 则可以使用 SATA 端口扩展。

如果需要, 还可以插入多块 RAID 控制器进行存储容量扩展。

 

1.4.4 sRIO-PCIe

      sRIO-PCIe 桥有成熟的 FPGA IP 解决方案。该解决方案提供 PCIe 设备与串行 RapidIO 处理器或者交换设备的高带宽桥接。其它高级功能还包括多通道 DMA 引擎,串行RapidIO 信箱和终端,地址映射等功能。

 

1.4.5 技术储备 – CFR

    北京石竹科技有限公司自研的基于电子盘的采集存储系统 CFR 已经上设备, 开始批量应用。上述技术难点 (主要是软件难点) 已经在基于 cPCI 的系统上得到充分的调试和验证。

      硬件部分至需要升级 RAID 控制器芯片, 使用基于 PCIe VPX 总线即可。对于 PCIe 总线, 我们已经研制成功基于 x8 PCIe InfiniBand 接口适配卡, 传输速度可达 1.5GB/s。正在研发基于 VPX 总线的 1.0GB/s 高速存储系统。

    此外, 我们有特有的NFSCIFSiSCSIFTP协议的存储回放和分析软件, 可以支持数据高速、稳定的回放。

采集存储系统 CFR 系统架构如图 1-4

2011131143601.JPG
1-4 采集存储系统 CFR 系统架构

 

1.5 整体方案特点

    整体系统方案有以下几个特点:

  . 先进的 VPX 总线, 功能模块之间可以实现高速互联

  . 采集和存储, 实时处理模块之间仅通过数据流相联系,互相的耦合也较低,各模块相对独立,方便开发和维护

  . 利用 sRapidIO 交换芯片的多播功能, 大大降低了Host数据吞吐压力

  . 充分的 1.0GB/s 高速存储技术储备

 

1.6 应用场合

    该系统适用于高速相机、机载雷达、雷达地面站以及声纳信号的高速数据记录、回放及分析等应用。