一种气象海洋格点数据综合处理方法及系统与流程

本发明涉及气象格点数据处理，尤其涉及一种气象海洋格点数据综合处理方法及系统。

背景技术：

1、气象海洋格点数据具有规模大、维度多和复杂性高等特点，同时气象海洋业务随着保障对象、保障区域、保障样式的不断变化，对气象海洋格点数据的访问速度、访问内容、访问方式提出了“数据要全、速度要快、内容要丰富”的业务要求,如何高效组织、存储、应用气象海洋数据是气象海洋数据处理及存储所面临的首要任务,针对这些特点和要求，如何存储气象海洋数据、如何高效访问气象海洋数据，是一直存在的难点和问题，但气象海洋数据存储和查询，不是其存在的主要意义，重点在于如何在实际业务应用中，用好气象海洋数据，使其发挥更大的价值，能够辅助各领域用户完成实际业务工作。

2、公开号为cn112214472a的中国专利公开了气象格点数据的存储及查询方法、装置及存储介质，该专利主要侧重于气象格点数据的存储，目的是提高查询速度，然而，其存在的问题是没有结合实际业务应用数据访问需求。

技术实现思路

1、本发明意在提供一种气象海洋格点数据综合处理方法及系统，以解决现有技术中存在的不足，本发明要解决的技术问题通过以下技术方案来实现。

2、本发明提供的气象海洋格点数据综合处理方法，包括：

3、根据业务需求从提供的不同来源的气象海洋格点数据中进行数据抽取；

4、对抽取出的气象海洋格点数据进行包括数据转换、数据清洗、数据对齐、数据合并以及一致性检查的数据整合处理；

5、对经过数据整合处理的气象海洋格点数据按照时间维度、空间维度或层次维度切分为小块，将每个小块表示为一个格点，根据切分为小块的气象海洋格点数据的位置信息、时间信息或层次信息确定切分为小块的气象海洋格点数据对应的格点在hbase表中的行号和列号，并根据格点在hbase表中的行号和列号确定切分为小块的气象海洋格点数据对应的格点的索引，采用hbase表来存储格点数据；

6、设计查询接口，根据用户指定的时间范围和空间范围来获取存储在hbase中的气象海洋格点数据，得到满足需要的查询结果；

7、使用并行计算框架对满足需要的查询结果来进一步地处理和分析数据，得到统计分析结果；

8、将满足需要的查询结果或统计分析结果以列表或柱状图形式进行展示，辅助用户进行决策。

9、在上述的方案中，根据切分为小块的气象海洋格点数据的位置信息确定切分为小块的气象海洋格点数据对应的格点在hbase表中的行号和列号采用以下公式：

10、r=int(（y0-y）/sizey)

11、c=int(（x-x0）/sizex)

12、其中，int()表示取整操作，y0表示切分为小块的气象海洋格点数据中左上角格点对应的纬度，x0表示切分为小块的气象海洋格点数据中左上格点对应的经度，y表示切分为小块的气象海洋格点数据中某一格点的纬度，x表示切分为小块的气象海洋格点数据中某一格点的经度，sizey表示切分为小块的气象海洋格点数据在纬度上的格网间距大小，sizex表示切分为小块的气象海洋格点数据中某一格点在经度上的格网间距大小。

13、在上述的方案中，根据格点在hbase表中的行号和列号确定切分为小块的气象海洋格点数据对应的格点的索引，采用以下公式：

14、id=r×col+c

15、其中，r表示某一格点的行号，col表示hbase表中的总列数，c表示某一格点的列号，id为某一格点的索引。

16、在上述的方案中，采用hbase表来存储格点数据时，将每个格点的数据存储为hbase表中的一行，使用时间维度、空间维度或层次维度作为hbase表的行键，并将不同气象海洋要素及多个统计分析指标存储在hbase表的不同的列中。

17、在上述的方案中，设计查询接口，根据用户指定的时间范围和空间范围来获取存储在hbase中的气象海洋格点数据，得到满足需要的查询结果包括：

18、用户在用户终端输入起始时间、结束时间和空间范围坐标，并通过用户终端向所述查询接口发起查询请求，所述查询接口解析所述查询请求，并将所述查询请求转化为对应的格点在hbase表中的索引，以检索所需的气象海洋格点数据，得到满足需要的查询结果。

19、在上述的方案中，所述查询接口在检索所需的气象海洋格点数据的过程中，采用时间范围过滤器和空间维度过滤器来缩小查询范围，只读取符合条件的数据，采用列投影功能来选择只需要的列。

20、在上述的方案中，在进行数据转换时，将抽取出的气象海洋格点数据转换为netcdf格式的气象海洋格点数据，且确保转换得到的netcdf格式的数据与其对应的转换前的气象海洋格点数据具有相同的变量名称、维度和时间分辨率。

21、在上述的方案中，在进行数据清洗时，对经过数据转换的气象海洋格点数据中的异常值进行修正或剔除，对经过数据转换的气象海洋格点数据中的缺失值进行填补，其中，按照数据质量规范及业务需求确定阈值，将超出阈值的数值作为经过数据转换处理的气象海洋格点数据中的异常值，对异常值进行修正或剔除，并采用数据插值方法对经过数据转换处理的气象海洋格点数据中的缺失值进行填补。

22、在上述的方案中，在进行数据对齐时，对经过数据清洗处理的气象海洋格点数据分别从时间维度和空间维度上进行对齐，将从时间维度进行对齐得到的气象海洋格点数据作为第一组数据，将从空间维度上进行对齐得到的气象海洋格点数据作为第二组数据，并采用数据插值方法将第一组数据插值到第二组数据的时间网格上，采用数据插值方法将第二组数据插值到第一组数据的空间网格上。

23、本发明提供的气象海洋格点数据综合处理系统，采用如上所述的气象海洋格点数据综合处理方法进行气象海洋格点数据综合处理，所述系统包括：

24、数据抽取模块，用于根据业务需求从提供的不同来源的气象海洋格点数据中进行数据抽取；

25、数据整合模块，用于对抽取出的气象海洋格点数据进行包括数据转换、数据清洗、数据对齐、数据合并以及一致性检查的数据整合处理；

26、数据存储模块，用于对经过数据整合处理的气象海洋格点数据按照时间维度、空间维度或层次维度切分为小块，将每个小块表示为一个格点，根据切分为小块的气象海洋格点数据的位置信息、时间信息或层次信息确定切分为小块的气象海洋格点数据对应的格点在hbase表中的行号和列号，并根据格点在hbase表中的行号和列号确定切分为小块的气象海洋格点数据对应的格点的索引，采用hbase表来存储格点数据；

27、数据查询模块，用于设计查询接口，根据用户指定的时间范围和空间范围来获取存储在hbase中的气象海洋格点数据，得到满足需要的查询结果；

28、统计分析模块，用于使用并行计算框架对满足需要的查询结果来进一步地处理和分析数据，得到统计分析结果；

29、结果展示模块，用于将满足需要的查询结果或统计分析结果以列表或柱状图形式进行展示，辅助用户进行决策。

30、本发明实施例包括以下优点：

31、本发明实施例提供的气象海洋格点数据综合处理方法及系统，基于实际业务需求，抽取业务应用中较为共性的气象海洋格点数据，并对抽取出的气象海洋格点数据进行包括数据转换、数据清洗、数据对齐、数据合并以及一致性检查的数据整合处理，并将经过数据整合处理的气象海洋格点数据采用hbase表来存储格点，可实现数据高效存储、一键检索，并可以提供快速处理和灵活查询能力，以满足气象海洋数据分析和应用需求。