基于MapReduce技术的Argo浮标剖面信息融合算法
蒋华 胡莹
针对目前Argo浮标剖面以单一浮标为分析单元造成的分析不全面,以及单机处理造成的计算时间长且复杂等问题,提出一种以经纬度网格单元为分析对象,采用MapReduce技术与主曲线相结合的信息融合算法。在Map阶段,从大量数据文件中提取Argo浮标的有效信息,并对所提取的有效Argo剖面信息进行经纬度划分。在Reduce阶段,生成各划分区域Argo浮标主剖面:首先对数据进行归一化处理,然后利用K主曲线理论获得由少量剖面点和折线组成且包含区域剖面特征的主剖面,从而实现海量Argo浮标的信息融合。通过全球Argo浮标样本数据对所提算法进行验证,新的信息融合算法在投影距离为0.03~0.10时残差均值小于0.1,且相比传统的单机处理方式,存储空间节约99.4%,计算速度提升36.4%。验证结果表明,所提算法在保证生成主剖面准确度的同时节省了极大的存储空间,提高了计算速度。
