一种基于昇腾+FPGA的侧扫声呐智能成像硬件系统和方法

本发明属于水下声学测绘设备，具体涉及一种基于昇腾处理器和fpga的侧扫声呐智能成像硬件系统和方法。

背景技术：

1、侧扫声呐系统是一种成像声呐，能够绘制水下环境，采用主动声呐的工作方式，主动发射声波信号，根据反射回波中包含的时延、频率和相位等信息，对水底地形地貌或障碍物进行探测；其扫描阵列通常拥有较大的体积，发射波束为一个扇面，能够有效创建大面积的水下声学图像。侧扫声呐一般通过rov的形式在水中工作，或以拖曳的方式工作在船体尾部和侧面，航行时两侧的换能器发射扇形波束的声呐信号。侧扫声呐系统通过上位机软件进行控制，并在上位机软件中进行成像，在海洋制图、桥梁检测和溺水人员救援等领域中都有广泛而重要的应用。

2、现有的侧扫声呐系统大多采用dsp芯片、fpga芯片或基于arm+fpga架构的soc芯片作为唯一处理器。dsp和fpga具有较强的数字信号处理和并行计算能力，arm则在事务管理和系统应用程序控制上充满优势。国内外的侧扫声呐产品大都采用自备的通用计算机运行上位机，在windows操作系统下运行大型软件，如klein公司的sonar processingsystem上位机处理系统和中海达公司的himax sss侧扫声呐上位机软件，集成度不高，缺少水下目标检测，图像降噪等需要结合深度学习的应用，在水下救援、水下物体识别、声呐图像优化等领域缺乏高性能的硬件支持。

3、atlas 200i a2加速模块内嵌昇腾310b处理器，是华为对昇腾310处理器的进一步优化升级，该处理器是一个片上系统soc(system on chip)，采用基于arm的taishanv200m四核cpu，主频达1.8ghz，集成了ai计算、图片与2020欧洲杯投注官网 编解码、isp以及图形输出等功能，利用单核低功耗gpu mali g52和dvpp模块最高可以支持40路的1080p/30帧2020欧洲杯投注官网 解码与20路的1080p/30帧2020欧洲杯投注官网 编码，基于自研达芬奇架构的davinci v300 ai core对图像、2020欧洲杯投注官网 等多种类型数据进行分析和推理计算，相比昇腾310处理器升级了架构，提升了20％业务性能，可以提供高达10tflops fp16(20tops int8)的乘加计算能力，在2020欧洲杯投注官网 处理、图像识别、机器学习和推理计算等领域拥有独特优势。该模块体积小、功耗低，拥有比昇腾310处理器更丰富易扩展的接口，降低扩展成本，如媒体接口hdmi2.0、mipi-dsi，以及8lane高速接口，支持pcie 3.0x4、sgmii、usb3.0、sata等高速总线的配置，还提供丰富的i2c、can、spi等低速接口，适合传感器、系统调试等低速信号的处理，结合华为昇腾系列处理器完善的全栈软硬件开发平台，系统开发方便、可靠，成本低而周期短。

4、fpga芯片拥有如下优势：1)拥有丰富的通用引脚和各类触发器，软硬件开发方便、周期短，具有灵活的硬件可编程性；2)可以与其他ttl、lvds等不同协议电平的集成电路或外设相互兼容，自定义输入输出标准，具有较强的兼容性；3)适合高速信号处理，丰富的高速接口使其在数据抽取滤波和处理高速ad的大数据量等方面有独特优势；4)拥有强大的并行计算能力，适合计算密集型任务，利用并发技术重复分配数据计算的资源，利用流水技术将任务分段后同时处理，降低时延，提高实时性；5)在单位算力下拥有比cpu、gpu等更低的功耗，更低的便于集成在电路板中。

技术实现思路

1、为克服现有侧扫声呐技术的上述不足，本发明提供了一种基于昇腾处理器和fpga双核心的侧扫声呐智能成像硬件系统和方法。

2、一种基于昇腾处理器和fpga双核心的侧扫声呐智能成像硬件系统，昇腾310b处理器采用高集成度soc，集成cpu、gpu、ai、图片与2020欧洲杯投注官网 编解码能力，拥有丰富而易扩展的接口，配备多种加速器，强化机器学习、推理计算能力，提高单位功耗下的算力，适应复杂的多场景需求，满足未来ai技术植入各类嵌入式设备的发展趋势；fpga拥有强大的并行计算能力，在大数据量声呐信号的同步采集与处理中有独特优势，满足侧扫声呐瀑布图成像的实时性、低延时需求；该系统有效解决了侧扫声呐系统难以部署ai算法，智能化、自动化程度低，集成度低，高速信号数据量大而难以实时成像的技术难题，同时满足小体积、低功耗的侧扫声呐产品要求。

3、为解决上述技术难题，本发明提出如下技术方案：

4、一种基于昇腾+fpga的侧扫声呐智能成像硬件系统，包括：昇腾智能图像处理子系统和声呐信号采集与处理子系统，昇腾智能图像处理子系统将由声呐采集与处理子系统上传的声呐波形数据解析后形成成像数据，然后进行数据存储与声呐图像的编解码，在显示屏上实时呈现侧扫声呐瀑布图，并同步实现与深度学习相关的图像处理功能，如图像分割和目标检测；所述的声呐信号采集与处理子系统负责采集由水声换能器传输进入的声-电信号，并将信号处理完成后发送至昇腾智能图像处理子系统。

5、进一步，所述的昇腾智能图像处理子系统包括：

6、atlas 200i a2加速模块，包括基于昇腾310b处理器的atlas 200i a2最小系统、sd卡和调试接口，负责fpga模块、千兆网通信模块与昇腾智能图像处理子系统之间的数据交互，用于对由声呐信号采集与处理子系统上传的成像数据进行解析与编解码操作，并通过昇腾310b处理器片内gpu和dvpp模块转换成图像数据或2020欧洲杯投注官网 流，利用昇腾310b处理器片内达芬奇架构ai core的高算力，实现基于mp-former(mask-piloted transformer)网络模型的图像分割或基于centernet-keypoint网络的目标检测的实时应用；

7、pcie3.0高速总线接口，包括4路pcie收发通道，用于连接ssd，实时存储成像数据或导出数据进行回放；

8、dsi接口，用于提供昇腾系统的可视化界面，传输成像数据至显示屏，实时显示侧扫声呐瀑布图；

9、sd卡，用于存放昇腾系统参数和启动信息；

10、调试接口，用于访问昇腾处理器内部linux操作系统，进行系统参数、协议驱动的配置；千兆网通信模块，包括phy芯片和带变压器的rj45网口，用于昇腾处理器向fpga模块下发控制命令，包括驱动发射板的pwm信号脉宽及间隔、tvg曲线模式、系统启动与复位信息，同时接收由声呐信号采集与处理子系统上传的数据；

11、usb3.0接口，用于扩展外设，包括网卡、人体学输入设备，能够将数据上传云端和利用人体学输入设备控制系统及上位机。

12、以上的昇腾智能图像处理子系统完成了对声呐采集与处理子系统上传成像数据的接收、解析、存储与编解码，侧扫声呐瀑布图的实时显示，ai算法的部署与实现，以及对声呐信号采集与处理子系统的命令控制。

13、再进一步，所述的声呐信号采集与处理子系统包括：

14、放大滤波模块，用于将多路微小的声呐模拟信号进行放大和带通滤波，提取特定频率与带宽的正弦信号；

15、可控增益模块，用于对放大滤波模块输出的信号进行增益补偿；

16、da芯片，用于向可控增益模块提供精确的增益控制信号；

17、高分辨率ad芯片，用于将多路模拟信号转换为数字信号再传输进入fpga模块；

18、jtag接口，用于声呐信号采集与处理子系统的调试；

19、pwm接口，用于接收fpga模块发送的脉冲信号，从而控制系统外发射板的发射电压脉冲周期、脉宽与频率；

20、rs232接口，用于连接姿态传感器，将姿态传感器采集的姿态信息数据通过rs232串口传输给fpga模块进行处理；

21、千兆网通信模块，包括phy芯片和带变压器的rj45网口，用于将fpga模块处理完成的数据传输至昇腾智能图像处理子系统；

22、fpga模块，包括fpga芯片，ddr、晶振、sd卡模块和jtag模块，用于向pwm接口、da芯片和高分辨率ad芯片发送控制信号，处理高分辨率ad芯片和姿态传感器上传的信号，并将数据通过千兆网通信模块传输给昇腾智能图像处理子系统。

23、以上的声呐信号采集与处理子系统完成了发射信号的控制，接收信号的采集、放大、滤波、模数转换，以及数字信号的抽取降采样、方位匹配滤波，最终得到成像数据。

24、使用本发明的基于昇腾+fpga的侧扫声呐智能成像硬件系统的侧扫声呐智能成像，包括如下步骤：

25、①fpga模块通过pwm接口发送脉冲信号，控制系统外发射板驱动水声换能器发射声波信号；②水声换能器阵列将声呐回波转化为电信号，先经过放大滤波模块和可控增益模块初步处理，再由高分辨率ad模块将其转化为数字信号后进入fpga模块；③fpga模块结合姿态数据和多波束成像算法处理成为成像数据，将其通过千兆网通信模块传输至atlas200i a2加速模块；④atlas 200i a2加速模块内的昇腾310b处理器内置四核taishanv200m，主频1.8ghz，负责分配昇腾处理器片内计算与存储资源，调度系统内包括上位机控制软件在内的进程，昇腾处理器通过成像算法解析fpga处理后的信号，利用内置mali g52单核gpu和dvpp模块对成像数据进行编解码操作，以3fps的成像帧率形成2020欧洲杯投注官网 流，通过dsi接口传输至显示屏进行实时成像显示，同时成像数据通过昇腾处理器提供的pcie3.0x4高速总线同步存储到ssd中，实现数据备份以及后续在显示屏上回放；⑤利用昇腾310b处理器内基于自研达芬奇架构davinci v300的10tflops fp16(20tops int8)高算力ai core对实时成像的侧扫声呐瀑布图进行分析，实现基于深度学习的目标检测、图像分割等相关算法的应用。

26、步骤②所述的水声换能器阵列将声呐回波转化为电信号，先经过放大滤波模块和可控增益模块初步处理，再由高分辨率ad模块将其转化为数字信号后进入fpga模块，具体包括：(21)初级增益电路将水声换能器输入的10路信号进行初步放大；(22)利用chebyshev带通滤波器进行滤波处理，得到滤波后信号幅度与频率的关系：(23)fpga通过da芯片给定精确的电压值，从而控制增益补偿电路对滤波后的信号进行幅值的补偿，电压与fpga控制信号的关系为：其中，n为da芯片位数；(24)增益补偿电路根据da芯片输出电压vout对信号幅值进行调整，增益与vout的关系为：gain(db)＝40vout+10，其中，vout以差分形式输入；(25)信号进入高分辨率ad芯片进行模数转换，2mbps采样率下生成的数据通过lvds接口传入fpga；(26)fpga对数字信号以带通滤波、正交解调、低通滤波、抽取降采样和匹配滤波的步骤进行预处理。

27、本发明以昇腾310b处理器为图像处理单元，其拥有cpu、ai计算、图片与2020欧洲杯投注官网 编解码、isp以及图形输出等功能，通过集成高性能核的cpu进行系统进程调度与资源分配，利用gpu mali g52和dvpp模块对成像数据进行解析和编解码，基于自研达芬奇架构的davinciv300ai core对复杂神经网络进行矩阵计算，结合自身高算力植入训练后的fcn、yolo网络结构进行针对图像的推理计算，丰富的高速接口实现海量图像数据的传输，最终使得昇腾310b处理器能够在低功耗、小体积、高算力的条件下实现高效的系统控制、图像处理和数据传输。

28、本发明以昇腾+fpga的双核心架构设计侧扫声呐智能成像硬件系统，具有如下有益效果：

29、(1)系统算力提升，智能化程度和集成度提高，能够部署ai算法，集成侧扫声呐系统在水下救援或水文测绘中必要的目标检测、图像识别等基于深度学习算法的实用功能，同时利用昇腾处理器、显示屏和丰富接口的形式完全代替了通用的上位机硬件平台；

30、(2)系统成像的实时性提高、时延降低，可在高精度的海量数据下快速成像，并满足小体积、低功耗的侧扫声呐产品要求。