缩略图

雷达信息融合的大数据分析技术探讨

作者

韩亚楠 张小龙 郭思佳 李素兮 杨光 苏传琛

1.吴起县气象局;2.延安市气象局;3.洛川县气象局;4.延安市气象局; 5.吴起县气象局;6.吴起县气象局应急指挥部办公室

一、引言

由于单个雷达通常具有作用距离小且易受到周围复杂电磁场的影响等特点,在很多情况下不能满足人们的需求。随着近年来各种新型雷达以及相关信号处理算法的研究与应用,雷达系统正向着高精度、多功能化方向发展。同时,伴随着现代信息技术的迅猛发展,大数据分析为雷达信息融合提供了强大的工具和手段,能够对海量、复杂的雷达数据进行高效分析和挖掘,从而进一步提升雷达信息融合的性能和效果。

二、大数据分析技术在雷达信息融合中的应用

1、数据清洗

由于雷达数据在采集中以及数据传递的过程中会不可避免地出现一些噪音与干扰,从而造成了一些离群值及缺失值的存在;因此需要对数据进行清洗以达到较高的质量要求。通过对原始数据集进行适当的预处理操作,包括去噪与异常值发现等手段,使得数据更加完整并具有良好的连贯性是必要的。常用的离群值检测技术有统计学方法(均值标准差检验)、空间统计方法(DBSCAN),此外还可以利用机器学习的方法对离群值进行识别[1]。DBSCAN 是一种基于密度的空间聚类算法,该算法能够将偏离数据集总体趋势的数据点作为孤立点而被删除掉或者标记成离群值。对于缺失值,则可以通过插补填充的方式将其补充上来。插值法如线性插值、样条插值等,根据已知数据点的分布规律来估计缺失值。多重填补法则是通过构建统计模型,生成多个合理的填补值,然后综合考虑这些填补值来进行后续分析。

2、数据集成

在雷达的信息融合过程中经常要将来自多个雷达或多种类型传感器的各种各样的原始数据集成为一个完整的整体,这必然涉及对这些原始数据的集成操作[2]。这种数据集成通常会遇到数据格式(包括编码方式)互不兼容的问题以及由于各种因素导致的不同数据之间存在一定的语义冲突等问题。为了解决这些问题,必须首先建立一个通用的数据标准体系及规范来指导具体应用中的数据采集工作;其次还要采用一些数据集成工具将不同源数据按照统一的标准和规则进行必要的格式转换和规范化处理以保证所得到的数据具有同质性特征且能够实现相互比较。例如,在将某一频段雷达的距离数据与另一频段雷达的距离数据进行集成时,需要明确两个数据的测量单位、精度等信息,并进行相应的转换和校准。

3、数据变换

为了能更加有效的分析雷达数据信息,并且尽可能减少噪声的影响,需要把原始的雷达数据做一定的变换操作,常用的变换算法有归一化(normalization)与离散化(discretization),其中归一化的目的是将所有属性都缩放到同一个区间内(通常使用[0\~1]),这样就可以消除不同的物理量纲带来的影响;并且还可以使得各个属性之间具备比较的基础条件。比如对于目标的距离与速度这些雷达观测值而言,其数据的大小差别很大,因此可以通过归一化的方式将其缩小至同一数量级。离散化则是将连续型数据转换为离散型数据,便于进行分类和规则挖掘。

4、数据索引与查询优化

由于雷达数据量巨大且增长迅速,在使用过程中必须能方便快捷地查找到所需的雷达回波数据或感兴趣的信息点。因此有必要研究如何构造高效的雷达数据索引。根据雷达数据的时间维、空域维及目标属性等不同特点可分别选用 B 树索引、哈希索引以及 R 树索引等多种类型的索引来组织雷达数据以提高其访问效率。同时,为了进一步优化查询性能,还可以采用查询优化算法,对用户的查询请求进行分析和优化,选择最优的查询执行计划。

5、数据生命周期管理

雷达系统产生的海量数据存在一个时间窗口,在这个时间内这些数据是有效的;过了这一时间段后就不再有价值了,所以必须采取相应的措施来处理这部分已经没有意义的数据(比如删除掉)。需要制定合理的数据生命周期管理策略,将数据存储在高性能的存储设备上,以保证快速访问;对于历史数据或使用频率较低的数据,可以迁移到低成本的存储介质上进行长期保存。同时,定期对过期或无用的数据进行清理,释放存储空间,提高存储资源的利用率。

三、雷达信息融合的大数据分析技术未来发展趋势

1、智能化算法的深度应用

由于人工智能技术的发展,在未来一段时间内,智能化算法将会进一步融入雷达信息融合大数据分析领域之中,在这些算法的支持下,雷达信息融合的数据分析能力也将随之提高:首先,深度学习算法会不断地发展完善,如基于 Transformer 架构的算法可能更加适用于雷达信号处理及目标检测方面的问题;其次,强化学习算法可以与雷达信息融合系统结合使用,并且可以根据实际情况对自身的行为作出反应并不断改进行为方式,从而实现最优解[3]。

2、多技术融合发展

大数据分析技术将会进一步向其他领域渗透,并与其他新技术相互融合。首先,随着物联网的发展,在大数据分析基础上,将进一步发展基于物联网的雷达传感网,利用分布式的物联网感知节点进行海量的数据采集,从而获得更加丰富的周围环境以及目标的信息;其次,引入区块链技术,利用其去中心化、防篡改的特点,解决雷达数据共享及交互过程中出现的信任危机等问题,通过对雷达数据使用哈希算法等对原始数据加密后进行签名的方式上链存证,保证了雷达数据的真实性且具有唯一标识码,避免重复上传,提升效率的同时也保障了隐私不被泄露;最后,大数据分析技术还将与新一代信息技术如边缘计算相结合,以边缘计算代替云计算,减少数据传输量,提高数据处理的实时性,例如在车载雷达系统中,通过边缘计算设备实时处理雷达数据,为自动驾驶提供快速决策支持。

3、标准化与规范化建设加强

针对目前存在的“碎片化”问题,一方面要加快对现有系统和平台改造升级,在此基础上进一步推进新一代信息技术与雷达信息融合产业融合发展;另一方面要加强顶层设计,从国家层面建立和完善相关的法规政策体系和技术标准体系,重点围绕数据采集、处理、存储等环节开展关键技术攻关,并依托龙头企业和科研院所力量构建完善的标准体系,确保不同来源的雷达数据能够顺利集成和共享,不同的大数据分析算法能够在统一的框架下进行评估和优化。

结束语

综上所述,面对复杂的应用环境和不断增长的数据量,该技术在解决数据处理难题的同时,也需持续应对技术融合与标准化等挑战。随着智能化算法、物联网、区块链等新兴技术的深度融合与发展,以及行业标准化体系的不断完善,雷达信息融合的大数据分析技术有望在更多领域实现突破,为雷达系统在军事、民用等领域的创新应用提供更强大的技术支撑,推动相关产业迈向更广阔的发展空间。

参考文献

[1]时进,陈瑾,赵文瑄.机载激光雷达通信网络测距大数据均衡调度[J].现代雷达,2024,46(12):121-126.

[2]马亮,罗斯瀚,姚嘉伟.浅析多普勒天气雷达数据可视化应用[J].信息与电脑(理论版),2024,36(22):16-18.

[3]杨建平,刘文静,王刚.新一代天气雷达在气象服务中的应用分析[J].农业灾害研究,2024,14(10):221-223.