专利名称：一种相控阵三维声学摄像声纳实时处理系统和方法
技术领域：
本发明属于相控阵三维声学摄像声纳领域，具体涉及一种相控阵三维声学摄像声 纳实时处理系统和方法。
背景技术：
随着科学技术的发展，海洋因其战略上的重要地位和经济上的无穷潜力而越来越 被人们重视，人们对海洋的认识得到了逐步深化。由于声波在水中传播相对容易这一特性， 水声探测在开发海洋资源的事业中得到了广泛地应用，水声成像技术已成为大规模水下探 测的重要手段。目前许多图像声纳探测技术(如侧扫声纳、多波束测深声纳等)不断涌现，这些声 纳设备通常在距离和角度方向具有分辩能力。为了适应各种声纳探测仪器的水下作业需 要，通常需要获得距离、角度和深度三维信息的分辩能力。相控阵三维声学摄像声纳作为一 种三维图象声纳，能够获得距离、水平、垂直三维空间的目标信息，具有图像清晰、实时性好 等优点。但由于其技术开发难度较大，世界上只有少数国家开展了水下三维成像系统的研 究工作。目前国际比较先进的三维图象声纳是挪威的EchoscopeieOO声纳系列，它不仅能 够成像一个移动的目标，而且还能在三维环境中重建目标，并提取出空间中的三维坐标(X， Y，Z)。因此，研究相控阵三维声学摄像声纳实时处理系统具有重要的工程实用价值和理论 指导意义。

发明内容
本发明提供了一种相控阵三维声学摄像声纳实时处理系统和方法，结构简单、高 实时高精度、图像清晰、交互方便、可扩展性强，有效地实现了声纳目标三维实时处理功能。一种相控阵三维声学摄像声纳实时处理系统，包括(1)三维声纳点数据采集模块，包括基于FPGA(现场可编程门阵列，Field Programmable Gate Array)的主信号处理机和若干个基于FPGA的子信号处理机，用于通过 基于FPGA的两级信号处理来获取三维声纳点数据；其中，所述的基于FPGA的子信号处理机 对接收到的回波信号进行信号调理，经同步A/D采样后送入子信号处理机FPGA进行信号处 理；所述的基于FPGA的主信号处理机接收子信号处理机的串行数据并对各个通道的数据 进行合成；(2)三维声纳点数据上传模块，包括接口 FPGA和嵌入式处理器，用于读取所述的 三维声纳点数据采集模块所采集的三维声纳点数据并通过千兆以太网转发至PC客户端， 同时实现时钟同步和命令的获取及设置；(3)三维声纳点数据实时处理模块，位于所述的PC客户端内，包括单帧多层实时 重建模块、图像配准模块、图像拼接模块、三维可视化模块以及实时存储模块；其中，所述的单帧多层实时重建模块，用于从所述的三维声纳点数据上传模块接收转发 的三维声纳点数据并进行解析，确定三维声纳点所在的扫描波束和层数信息以及反射强度信息；在系统的声纳扫描波束阵列上，将每个扫描波束上的点按照层数顺序进行排序，在这 个数据结构基础上，通过网格搜索和三角面片连接进行单帧多层重建；所述的图像配准模块，用于通过GPS和姿态仪获取单帧声纳数据图像的位移和姿 态信息，并将每帧的声纳点转换到预先设定的同一世界坐标系下；从第二帧声纳数据图像 开始，对相邻两帧声纳数据图像进行配准以修正位移和姿态信息的误差确定相邻两帧声 纳数据图像的重叠区域，获取相邻两帧声纳数据图像位于重叠区域内的点集，利用反向投 影将前帧声纳数据图像投影到后帧声纳数据图像，并通过最近点搜索实现相邻两帧声纳数 据图像位于重叠区域内的点集中各点的两两配对，同时得到前帧声纳数据图像的配准矩 阵，并根据所述的配准矩阵对前帧声纳数据图像位于重叠区域内的的点集进行坐标变换；所述的图像拼接模块，用于通过拼接将坐标变换后的各帧声纳数据图像融合到全 局图像中利用参考网格将坐标变换后的前后帧声纳数据图像光栅化，获得交叉点；删除 高频成分后，两帧声纳数据图像根据阈值进行融合，并获得一致的网格数据；最后经过再重 建，获取实时全局的三维拼接效果图像。所述的三维可视化模块，用于将多层再重建后的每帧声纳数据图像在所述的PC 客户端的UI界面(User hterface，用户界面)上以三维图形的形式实时显示系统同时 显示单帧声纳数据图像的X轴向视角，Y轴向视角和Z轴向视角；同时，从第二帧开始，多帧 拼接效果也将以三维图形的形式实时显示。所有的三维显示都支持三维图像的旋转、平移 和缩放功能以及点、网格、面片三种图形显示形式。通过PC客户端的UI界面，可以实时修 改声纳点强度值与图形显示色彩的映射关系，更加直观获取图形色彩提供的声纳点强度值 强弱关系。另外，单帧三维显示支持鼠标取点，可以通过鼠标实时获取三维图形上某个点的 位置和强度值信息。所述的实时存储模块，用于将每帧声纳数据图像实时保存在本地硬盘中以便于后 续的离线查看和处理。PC客户端的UI界面可以设置文件的保存路径，系统通过获取当前系 统时间将同一批声纳数据保存在以当前系统时间命名的文件夹下。当前帧的位移和姿态信 息同时保存。同一文件夹下的声纳数据根据时间关系顺序保存。一种相控阵三维声学摄像声纳实时处理方法，包括(1)采用基于FPGA的两级信号处理来获取三维声纳点数据；(2)读取并上传所述的三维声纳点数据，并通过千兆以太网转发至PC客户端，同 时实现时钟同步和命令的获取及设置；(3)实时处理三维声纳点数据，包括单帧多层实时重建步骤接收由步骤(2)转发的三维声纳点数据并进行解析，确 定三维声纳点所在的扫描波束和层数信息以及反射强度信息；在系统的声纳扫描波束阵列 上，将每个扫描波束上的点按照层数顺序进行排序，在这个数据结构基础上，通过网格搜索 和三角面片连接进行单帧多层重建；图像配准步骤通过GPS和姿态仪获取单帧声纳数据图像的位移和姿态信息，并 将每帧的声纳点转换到预先设定的同一世界坐标系下；从第二帧声纳数据图像开始，对相 邻两帧声纳数据图像进行配准以修正位移和姿态信息的误差确定相邻两帧声纳数据图像 的重叠区域，获取相邻两帧声纳数据图像位于重叠区域内的点集，利用反向投影将前帧声 纳数据图像投影到后帧声纳数据图像，并通过最近点搜索实现相邻两帧声纳数据图像位于重叠区域内的点集中各点的两两配对，同时得到前帧声纳数据图像的配准矩阵，并根据所 述的配准矩阵对前帧声纳数据图像位于重叠区域内的的点集进行坐标变换；图像拼接步骤，通过拼接将坐标变换后的各帧声纳数据图像融合到全局图像中 利用参考网格将坐标变换后的前后帧声纳数据图像光栅化，获得交叉点；删除高频成分后， 两帧声纳数据图像根据阈值进行融合，获得一致的网格数据；最后经过再重建，获取实时全 局的三维拼接效果图像；三维可视化步骤将多层再重建后的每帧声纳数据图像在所述的PC客户端的UI 界面上以三维图形的形式实时显示系统同时显示单帧声纳数据图像的X轴向视角，Y轴向 视角和Z轴向视角；同时，从第二帧开始，多帧拼接效果也将以三维图形的形式实时显示。 所有的三维显示都支持三维图像的旋转、平移和缩放功能以及点、网格、面片三种图形显示 形式。通过PC客户端的UI界面，可以实时修改声纳点强度值与图形显示色彩的映射关系， 更加直观获取图形色彩提供的声纳点强度值强弱关系。另外，单帧三维显示支持鼠标取点， 可以通过鼠标实时获取三维图形上某个点的位置和强度值信息。实时存储步骤将每帧声纳数据图像实时保存在本地硬盘中以便于后续的离线查 看和处理。PC客户端的UI界面可以设置文件的保存路径，系统通过获取当前系统时间将 同一批声纳数据保存在以当前系统时间命名的文件夹下。当前帧的位移和姿态信息同时保 存。同一文件夹下的声纳数据根据时间关系顺序保存。与现有的技术相比，本发明具有以下有益的技术效果嵌入式处理器在嵌入式Linux操作系统下工作，并在内核态实现了对FPGA上传数 据的转发，减少了系统调用和数据拷贝的开销，有效提高了网络传输带宽，满足实时处理系 统对高实时性的要求。图像配准采用反向投影，能够快速、有效的实现相邻两帧数据的配准，同时兼顾了 实时性和准确性。


图1为本发明相控阵三维声学摄像声纳实时处理系统的结构示意图。
具体实施例方式下面结合实施例和附图来详细说明本发明，但本发明并不仅限于此。如图1所示，一种相控阵三维声学摄像声纳实时处理系统，包括(1)三维声纳点数据采集模块100，包括基于FPGA的主信号处理机110和若干个 基于FPGA的子信号处理机120，采取两级FPGA信号处理，根据接收到的48x48个传感器信 号进行实时电子聚焦波束形成，获取三维声纳点数据。其中，子信号处理机120对回波信号 121进行信号调理和TVG控制，经同步A/D采样122后送入子信号处理机的FPGA单元123 进行信号处理；主信号处理机110中的主信号处理机FPGA单元111接收各个子信号处理机 120的串行数据并对各个通道的数据进行合成。(2)三维声纳点数据上传模块200，包括接口 FPGA单元201和嵌入式处理器202， 接口 FPGA单元201负责接收三维声纳点数据采集模块100传送的三维声纳点数据，嵌入式 处理器202通过局部总线获取接口 FPGA单元201的三维声纳点数据并通过千兆以太网转发至PC主控机，同时还实现时钟同步和TVG设置以及命令的获取和设置。
(3)三维声纳点数据实时处理模块300，位于所述的PC主控机内，包括单帧多层实 时重建模块301、图像配准模块302、图像拼接模块303、三维可视化模块304以及实时存储 模块305;其中，单帧多层实时重建模块301，从三维声纳点数据上传模块200接收转发的三维声 纳点数据并进行解析，确定三维声纳点所在的扫描波束和层数信息以及反射强度信息；在 系统的声纳扫描波束阵列上，将每个扫描波束上的点按照层数顺序进行排序，在这个数据 结构基础上，通过网格搜索和三角面片连接进行单帧多层重建；图像配准模块302，通过GPS和姿态仪获取单帧声纳数据图像的位移和姿态信息， 并将每帧的声纳点转换到预先设定的同一世界坐标系下；从第二帧声纳数据图像开始，对 相邻两帧声纳数据图像进行配准以修正位移和姿态信息的误差确定相邻两帧声纳数据图 像的重叠区域，获取相邻两帧声纳数据图像位于重叠区域内的点集，利用反向投影将前帧 声纳数据图像投影到后帧声纳数据图像，并通过最近点搜索实现相邻两帧声纳数据图像位 于重叠区域内的点集中各点的两两配对，同时得到前帧声纳数据图像的配准矩阵，并根据 所述的配准矩阵对前帧声纳数据图像位于重叠区域内的的点集进行坐标变换；图像拼接模块303，通过拼接将坐标变换后的各帧声纳数据图像融合到全局图像 中利用参考网格将坐标变换后的前后帧声纳数据图像光栅化，获得交叉点；删除高频成 分后，两帧声纳数据图像根据阈值进行融合，并获得一致的网格数据；最后经过再重建，获 取实时全局的三维拼接效果图像。三维可视化模块304，将多层再重建后的每帧声纳数据图像在所述的PC主控机的 UI界面上以三维图形的形式实时显示系统同时显示单帧声纳数据图像的X轴向视角，Y 轴向视角和Z轴向视角；同时，从第二帧开始，多帧拼接效果也将以三维图形的形式实时显 示。所有的三维显示都支持三维图像的旋转、平移和缩放功能以及点、网格、面片三种图形 显示形式。通过PC主控机的UI界面，可以实时修改声纳点强度值与图形显示色彩的映射 关系，更加直观获取图形色彩提供的声纳点强度值强弱关系。另外，单帧三维显示支持鼠标 取点，可以通过鼠标实时获取三维图形上某个点的位置和强度值信息。实时存储模块305，将每帧声纳数据图像实时保存在本地硬盘中以便于后续的离 线查看和处理。PC主控机的UI界面可以设置文件的保存路径，系统通过获取当前系统时间 将同一批声纳数据保存在以当前系统时间命名的文件夹下。当前帧的位移和姿态信息同时 保存。同一文件夹下的声纳数据根据时间关系顺序保存。采用上述系统进行相控阵三维声学摄像声纳实时处理方法，包括(1)三维声纳点数据采集模块100采用两级FPGA进行信号处理，实现实时电子聚 焦波束形成，获取三维声纳点数据；(2)三维声纳点数据上传模块200通过本地总线从接口 FPGA单元201获取实时数 据，并通过千兆以太网传输数据给PC主控机的三维声纳实时处理模块300。三维声纳点数 据上传模块200同时实现TVG控制和命令的获取与设置。(3) PC主控机的三维声纳实时处理模块300接收上传数据后对声纳数据进行实时 处理，包括利用单帧多层实时重建模块301进行单帧多层实时重建；利用图像配准模块 302进行图像配准；利用图像拼接模块303进行图像拼接；利用三维可视化模块304进行三维可视化；以及利用实时存储模块305进行数据的实时存储。
权利要求
1.一种相控阵三维声学摄像声纳实时处理系统，其特征在于，包括(1)三维声纳点数据采集模块，包括基于FPGA的主信号处理机和若干个基于FPGA的 子信号处理机，用于通过基于FPGA的两级信号处理来获取三维声纳点数据；(2)三维声纳点数据上传模块，包括接口FPGA和嵌入式处理器，用于读取所述的三维 声纳点数据采集模块所采集的三维声纳点数据并通过千兆以太网转发至PC客户端，同时 实现时钟同步和命令的获取及设置；(3)三维声纳点数据实时处理模块，位于所述的PC客户端内，包括单帧多层实时重建 模块、图像配准模块、图像拼接模块、三维可视化模块以及实时存储模块；其中，所述的单帧多层实时重建模块，用于从所述的三维声纳点数据上传模块接收转发的 三维声纳点数据并进行解析，确定三维声纳点所在的扫描波束和层数信息以及反射强度信 息；在系统的声纳扫描波束阵列上，将每个扫描波束上的点按照层数顺序进行排序，在这个 数据结构基础上，通过网格搜索和三角面片连接进行单帧多层重建；所述的图像配准模块，用于通过GPS和姿态仪获取单帧声纳数据图像的位移和姿态信 息，并将每帧的声纳点转换到预先设定的同一世界坐标系下；从第二帧声纳数据图像开始， 对相邻两帧声纳数据图像进行配准以修正位移和姿态信息的误差确定相邻两帧声纳数据 图像的重叠区域，获取相邻两帧声纳数据图像位于重叠区域内的点集，利用反向投影将前 帧声纳数据图像投影到后帧声纳数据图像，并通过最近点搜索实现相邻两帧声纳数据图像 位于重叠区域内的点集中各点的两两配对，同时得到前帧声纳数据图像的配准矩阵，并根 据所述的配准矩阵对前帧声纳数据图像位于重叠区域内的的点集进行坐标变换；所述的图像拼接模块，用于通过拼接将坐标变换后的各帧声纳数据图像融合到全局图 像中利用参考网格将坐标变换后的前后帧声纳数据图像光栅化，获得交叉点；删除高频 成分后，两帧声纳数据图像根据阈值进行融合，并获得一致的网格数据；最后经过再重建， 获取实时全局的三维拼接效果图像；所述的三维可视化模块，用于将多层再重建后的每帧声纳数据图像在所述的PC客户 端的UI界面上以三维图形的形式实时显示；所述的实时存储模块，用于将每帧声纳数据图像实时保存在本地硬盘中以便于后续的 离线查看和处理。
2.一种相控阵三维声学摄像声纳实时处理方法，其特征在于，包括(1)采用基于FPGA的两级信号处理来获取三维声纳点数据；(2)读取并上传所述的三维声纳点数据，并通过千兆以太网转发至PC客户端，同时实 现时钟同步和命令的获取及设置；(3)实时处理三维声纳点数据，包括单帧多层实时重建步骤接收由步骤(2)转发的三维声纳点数据并进行解析，确定三 维声纳点所在的扫描波束和层数信息以及反射强度信息；在系统的声纳扫描波束阵列上， 将每个扫描波束上的点按照层数顺序进行排序，在这个数据结构基础上，通过网格搜索和 三角面片连接进行单帧多层重建；图像配准步骤通过GPS和姿态仪获取单帧声纳数据图像的位移和姿态信息，并将每 帧的声纳点转换到预先设定的同一世界坐标系下；从第二帧声纳数据图像开始，对相邻两 帧声纳数据图像进行配准以修正位移和姿态信息的误差确定相邻两帧声纳数据图像的重叠区域，获取相邻两帧声纳数据图像位于重叠区域内的点集，利用反向投影将前帧声纳数 据图像投影到后帧声纳数据图像，并通过最近点搜索实现相邻两帧声纳数据图像位于重叠 区域内的点集中各点的两两配对，同时得到前帧声纳数据图像的配准矩阵，并根据所述的 配准矩阵对前帧声纳数据图像位于重叠区域内的的点集进行坐标变换；图像拼接步骤，通过拼接将坐标变换后的各帧声纳数据图像融合到全局图像中利用 参考网格将坐标变换后的前后帧声纳数据图像光栅化，获得交叉点；删除高频成分后，两帧 声纳数据图像根据阈值进行融合，获得一致的网格数据；最后经过再重建，获取实时全局的 三维拼接效果图像；三维 可视化步骤将多层再重建后的每帧声纳数据图像在所述的PC客户端的UI界面 上以三维图形的形式实时显示；实时存储步骤将每帧声纳数据图像实时保存在本地硬盘中以便于后续的离线查看和处理。
全文摘要
本发明公开了一种相控阵三维声学摄像声纳实时处理系统和方法，该系统包括三维声纳点数据采集模块、三维声纳点数据上传模块、PC客户端的三维声纳点数据实时处理模块。该方法包括利用两级FPGA信号处理，实时电子聚焦波束形成，获得三维声纳点数据；再将三维声纳点数据转发到PC客户端并进行命令的设置和获取；PC客户端接收三维声纳点数据并进行实时处理包括单帧多层实时重建、图像配准拼接、三维可视化以及数据的实时存储。本发明结构谨严、高实时高精度、图像清晰、交互方便、可扩展性强，有效地实现了声纳目标三维实时处理功能。
文档编号G01S15/89GK102096069SQ201010594858
公开日2011年6月15日 申请日期2010年12月17日 优先权日2010年12月17日
发明者吉喆, 蒋荣欣, 陈耀武 申请人:浙江大学