一种智能调度和趋势监控的方法、设备及存储介质与流程

本发明涉及地理信息系统领域，尤其涉及一种智能调度和趋势监控的方法、设备及存储介质。

背景技术：

1、在地理信息系统中，无论是调查还是规划的数据成果都必须经过质检才能应用于实际业务需求，如卫片巡查、项目审批、领导决策等。然而各地方汇交上来的数据非常大且问题比较多，同时，质检时间紧，质检规则多。

2、而当前的质检工具规则执行调度的方式如下：

3、（1）读取成果包和质检方案；

4、（2）根据方案读取规则列表；

5、（3）根据事先配置好的最大可执行质检规则数量，批量开启多个质检进程，对成果包内数据进行分析和计算；

6、（4）每个质检进程结束后，系统判断是否仍有未执行的规则以及当前正在运行的质检进程数量是否小于配置的最大可执行质检规则数量；

7、（5）如果仍有未执行的质检规则，并且正在运行的质检进程数量小于配置的最大可同时执行的规则数量，则开启一个新的质检进程进行数据分析；

8、（6）当全部质检规则执行完成，将质检规则生成的质检结果进行入库和评分，质检结束。

9、现行的已实现的技术有几个缺点：

10、其一，只能配置并行执行的规则数量，没有加入cpu和内存的监控。由于拓扑检查和属性检查占用的计算机资源差别较大，这导致难以确定应该配置的并行执行的规则数量，如果设置过低，导致资源浪费，如果设置过高，可能导致计算机由于资源耗尽而宕机。

11、其二，没有拆分拓扑规则和属性检查规则，由于拓扑检查和属性检查对计算机资源利用率差异比较大，在不拆分规则类型情况下，为了避免计算机资源耗尽，往往在设置并行执行的规则数量时，只能按拓扑规则预计的资源利用率来进行评估设置，这将导致资源实际利用率低下以及质检效率不高。

12、其三，没有对质检进程进行监控，由于部分质检规则执行效率不高，且强依赖于第三方组件，会偶发性地出现程序假死或者执行时间过长，但又无法确定进程状态的情况，对于这种情况下，目前只能依赖于人为去发现和处理，比较被动。

技术实现思路

1、本发明主要解决质检系统中的三个问题，一个是质检效率低，二是计算机资源利用率低问题，三是进程偶尔出现假死的问题。

2、本发明提出了一种智能调度和趋势监控方法、设备及存储介质，方法包括以下步骤：

3、s1、选择质检方案和成果包文件夹；

4、s2、根据成果包和质检方案，生成任务信息，并对任务信息中质检规则进行分类，并记录数量；

5、s3、主线程创建质检调度子线程、监控子线程、质检结果入库子线程；

6、s4、质检调度子线程获取计算机资源信息，并结合预设的配置信息计算出下一个的执行的质检规则类型，通知主线程；

7、s5、主线程开启一个质检进程，并对相关数据进行分析与计算，将质检结果记录到本地指定文件中；

8、s6、监控子线程监控执行中的质检进程，对超时的质检进程进行关闭；

9、s7、质检结果入库子线程获取已质检完成的规则信息，将本地质检结果文件内容进行解析并录入数据库中，并根据错误信息对任务进行评分，把最终评分记录到任务信息中。

10、一种存储介质，所述存储介质存储指令及数据用于被处理器执行以实现一种智能调度和趋势监控的方法。

11、一种智能调度和趋势监控设备，包括：处理器及所述存储介质；所述处理器加载并执行所述存储介质中的指令及数据用于实现一种智能调度和趋势监控的方法。

12、本发明提供的有益效果是：

13、（1）最大化利用计算资源。在本发明之前，仅设置了计算机允许同时执行的最多规则数量，这很容易导致一个问题，就是设置多了，计算机资源会耗导致计算机异常，设计少了，又浪费计算机资源。本发明仅需要关注质检所依赖的底层分析工具能支撑的同时进行拓扑检查的数量（在拓扑检查数量过多时，底层分析工具会报错，这与计算机性能无关），只要当前正在执行的拓扑检查数量小于这个上限，并且计算机资源足够，就可以开启一个新的检查，最大限度地使用计算机资源。并且不需要将属性检查纳入这个数量计算，不占用拓扑检查的数量。在此之前，一次质检总耗时大概在4小时左右，使用本发明后，质检时间普遍在1小时内可结束。

14、（2）自动处理假死进程，无需人为监控干预。引入监控子线程对正在执行的进程进行监控，质检规则的执行进程是有可能假死的。在这之前，操作人员往往需要不定时检查质检系统记录的日志，从日志中去分析哪些规则的检查进程可能假死了，如果假死了，只能手动结束异常进程，并且需要终止整个质检任务，并重新执行该检查任务。由于一个任务包含了近100个的检查规则，重新执行一次任务，就会浪费几个小时的时间。加入了该监控后，无需求人为处理，系统会自动结束异常进程并重新开启一个新的进程执行产生了异常的规则，而不需要将整个任务进行重新执行。

技术特征：

1.一种智能调度和趋势监控的方法，其特征在于：包括以下步骤：

2.如权利要求1所述的一种智能调度和趋势监控方法，其特征在于：步骤s2中对质检规则进行分类，具体分为拓扑规则和属性检查两类。

3.如权利要求1所述的一种智能调度和趋势监控方法，其特征在于：质检调度子线程、监控子线程、质检结果入库子线程相互独立运行。

4.如权利要求1所述的一种智能调度和趋势监控方法，其特征在于：步骤s4具体如下：

5.如权利要求1所述的一种智能调度和趋势监控方法，其特征在于：所述步骤s5具体如下：

6.如权利要求1所述的一种智能调度和趋势监控方法，其特征在于：步骤s6具体如下：

7.如权利要求1所述的一种智能调度和趋势监控方法，其特征在于：步骤s7具体如下：

8.一种存储介质，其特征在于：所述存储介质存储指令及数据用于被处理器执行以实现权利要求1~7任一项所述的一种智能调度和趋势监控方法。

9.一种智能调度和趋势监控设备，其特征在于：包括：处理器及存储介质；所述处理器加载并执行存储介质中的指令及数据用于实现权利要求1~7任一项所述的一种智能调度和趋势监控方法。

技术总结
本发明涉及地理信息系统领域，具体为一种智能调度和趋势监控方法、设备及存储介质，方法包括：选择质检方案和成果包文件夹；生成任务信息，并对质检规则分类，记录数量；主线程创建质检调度子线程、监控子线程、质检结果入库子线程；质检调度子线程获取计算机资源信息，结合预设的配置信息获取下一个的执行的质检规则类型；主线程开启一个质检进程，进行分析，将结果记录到本地；监控子线程监控执行中的质检进程，对超时的质检进程进行关闭；质检结果入库子线程获取已质检完成的规则信息，将本地质检结果文件内容进行解析并录入数据库中，并根据错误信息对任务进行评分，进行记录。本发明提高质检效率且无需人为干预，自动处理假死进程。

技术研发人员：赖仁良,戴力,周翔,韦立伟,陈青,喻江波,向强,许灿基
受保护的技术使用者：吉奥时空信息技术股份有限公司
技术研发日：
技术公布日：2024/2/21