大数据服务系统的制作方法

本申请涉及工业物联网，具体涉及一种大数据服务系统。

背景技术：

1、现有大数据处理技术主要是通过部署海量数据集成，采集，存储，计算，分析等由不同系统组成的大数据底座，然后大数据开发者通过etl工具将数据经过采集存储到分布式存储系统（hadoop hdfs），并根据不同的计算引擎（flink/spark/hive）的特点，进行针对性编程，将数据分析过程通过java/scala/python编程语言按照数据分析的业务逻辑进行编程，然后编译，打包，部署上线，运行。然而，编程过程中必须遵循这些开发语言的编程规范以及计算引擎的编程要求，整个过程需要对计算引擎有深入地了解，对编程语言有较好地掌握，需要非常专业的大数据分析人员才能够胜任大数据开发工作。因此导致了大数据分析过程复杂、流程较长、分析效率较低的缺点，数据分析人员不仅需要了解业务需求，同时还需要熟悉底层计算模型，成本较高。

技术实现思路

1、本申请实施例的目的是提供一种大数据服务系统，用以解决现有技术中大数据分析计算入门门槛高，需要专业人员介入才能完成大数据分析需求的技术缺陷。

2、为了实现上述目的，本申请第一方面提供一种大数据服务系统，服务系统包括：

3、多租户平台，包括用户层、服务层以及引擎层，用户层用于提供统一查询接口服务，并通过统一查询接口服务获取平面服务端提交的多种查询语句；服务层用于对多种查询语句进行处理，以将多种查询语句的格式转化成与计算引擎平台对应的预设格式，并生成针对多种查询语句的数据分析任务并传输至引擎层；引擎层用于查询与数据分析任务匹配的计算引擎，并将数据分析任务传输至匹配的计算引擎；

4、计算引擎平台，包括多种计算引擎，针对任意一种计算引擎，计算引擎用于接收引擎层发送的数据分析任务，并根据数据分析任务向平面服务端提供对应的多种计算函数，并基于平面服务端选定的目标计算函数对多种查询语句进行分析处理；

5、平面服务端，用于获取用户提交的多种查询语句，并将接收到的多种计算函数进行展示，在获取用户触发的针对目标计算函数的第一选择指令之后，将第一选择指令通过多租户平台传输至与目标计算函数对应的第一目标计算引擎。

6、在本申请的实施例中，服务系统还包括：容器编排平台，用于为多租户平台和计算引擎平台提供多个容器，以及为多种查询语句提供管理和调度功能；对象存储平台，与容器编排平台连接，对象存储平台包括多个存储桶，用于存储计算引擎平台分析处理后的数据。

7、在本申请的实施例中，多租户平台还用于：确定多租户平台的容器化部署脚本文件，其中，容器化部署脚本文件包括多租户平台的容器资源配置文件、对外端口服务文件以及第一镜像文件；在通过容器编排平台获取到运行指令的情况下，根据运行指令执行容器化部署脚本文件，以将多租户平台的服务层部署至多个容器中。

8、在本申请的实施例中，计算引擎平台还用于：针对任意一个计算引擎，获取计算引擎的安装包，并基于安装包构建针对计算引擎的第二镜像文件；将第二镜像文件和运行参数添加至多租户平台的容器资源配置文件中；基于第二镜像文件重新构建第一镜像文件，以得到更新后的容器化部署脚本文件；在通过容器编排平台获取到运行指令的情况下，根据运行指令执行更新后的容器化部署脚本文件，以将计算引擎部署至多个容器中。

9、在本申请的实施例中，容器编排平台还用于：获取对象存储平台的探索内置依赖包和访问信息，探索内置依赖包包括对象存储平台的数据传输信息；针对任意一个计算引擎，基于探索内置依赖包重新构建第二镜像文件，并将访问信息添加至多租户平台的容器资源配置文件中，以得到更新后的容器资源配置文件；在通过容器编排平台获取到运行指令的情况下，根据运行指令执行更新后的容器化部署脚本文件，以使容器编排平台与对象存储平台建立连接。

10、在本申请的实施例中，对象存储平台还用于：基于平面服务端的多个用户信息分别创建与每个用户信息对应的存储桶；在通过计算引擎平台完成对多种查询语句的分析处理之后，基于数据传输信息中携带的预设传输协议与计算引擎平台建立连接；查询与多种查询语句的用户信息匹配的存储桶，以将分析处理后的数据传输至匹配的存储桶中进行存储。

11、在本申请的实施例中，平面服务端还包括：交互模块，包括用户交互界面，用于获取用户提交的多种查询语句，并将接收到的多种计算函数进行展示，用户交互界面上包括多个组件，多个组件至少包括多种计算引擎组件、多个计算函数组件、用户登录组件、混合编程组件以及数据分析组件；后端服务模块，用于基于统一查询接口服务与用户层建立连接，以将用户通过用户交互界面提交的多种查询语句传输至服务层，根据用户通过用户交互界面选定的目标计算函数生成对应的第一选择指令，并将第一选择指令通过引擎层传输至与目标计算函数对应的第一目标计算引擎。

12、在本申请的实施例中，引擎层还用于：针对任意一个计算引擎，获取计算引擎的计算实例；构建针对计算实例的远程过程调用服务端；基于多个远程过程调用服务端以使引擎层与计算引擎平台中的多种计算引擎适配。

13、在本申请的实施例中，引擎层还用于：确定与每种计算引擎对应的调用链接，并将多个调用链接注册至预设应用程序协调服务中进行存储；在根据数据分析任务查询到与数据分析任务匹配的计算引擎之后，针对与数据分析任务匹配的计算引擎，基于应用程序协调服务查询与计算引擎对应的第一目标调用链接；基于第一目标调用链接与计算引擎建立连接，并将数据分析任务传输至计算引擎。

14、在本申请的实施例中，多种计算引擎至少包括第一计算引擎、第二计算引擎、第三计算引擎以及第四计算引擎，引擎层还用于：分别构建与第一计算引擎、第二计算引擎、第三计算引擎以及第四计算引擎对应的第一标识、第二标识、第三标识以及第四标识；在接收到平面服务端通过服务层传输的针对计算引擎的第二选择指令的情况下，确定与第二选择指令对应的目标标识；根据目标标识确定用户通过平面服务端选定的第二目标计算引擎，并基于应用程序协调服务查询与第二计算引擎对应的第二目标调用链接，以基于第二目标调用链接与第二目标计算引擎建立连接。

15、上述技术方案，通过提供的大数据服务系统，包括可以提交多种查询语句的平面服务端获取用户提交的多种查询语句，基于多租户平台的用户层提供的统一接口服务传输将多种查询语句提交至服务层，通过服务层对多种查询语句进行处理转化成底层计算引擎能够处理的统一预设格式，完成格式转换后生成对应的数据分析任务至引擎层，引擎层则与数据分析任务对应的计算引擎建立链接，从而将数据分析任务发送至该计算引擎，以通过计算引擎向平面服务端提供对应的计算函数，并基于选定的计算函数对数据分析任务进行分析处理。上述服务系统使得用户不需要进行复杂编程，不需要了解大数据各种计算引擎，只要懂业务逻辑就可以通过服务系统的后台完成大数据分析。

16、本申请实施例的其他特征和优点将在随后的具体实施方式部分予以详细说明。

技术特征：

1.一种大数据服务系统，其特征在于，所述服务系统包括：

2.根据权利要求1所述的大数据服务系统，其特征在于，所述服务系统还包括：

3.根据权利要求2所述的大数据服务系统，其特征在于，所述多租户平台还用于：

4.根据权利要求3所述的大数据服务系统，其特征在于，所述计算引擎平台还用于：

5.根据权利要求4所述的大数据服务系统，其特征在于，所述容器编排平台还用于：

6.根据权利要求5所述的大数据服务系统，其特征在于，所述对象存储平台还用于：

7.根据权利要求1所述的大数据服务系统，其特征在于，所述平面服务端还包括：

8.根据权利要求1所述的大数据服务系统，其特征在于，所述引擎层还用于：

9.根据权利要求8所述的大数据服务系统，其特征在于，所述引擎层还用于：

10.根据权利要求9所述的大数据服务系统，其特征在于，所述多种计算引擎至少包括第一计算引擎、第二计算引擎、第三计算引擎以及第四计算引擎，所述引擎层还用于：

技术总结
本申请实施例提供一种大数据服务系统。服务系统包括：多租户平台，包括用户层、服务层以及引擎层，用户层用于提供统一查询接口服务获取平面服务端提交的多种查询语句；服务层用于对多种查询语句进行处理，并生成对应的数据分析任务并传输至引擎层；引擎层用于查询与数据分析任务匹配的计算引擎；计算引擎平台，包括多种计算引擎，针对任意一种计算引擎，用于接收数据分析任务以向平面服务端提供对应的多种计算函数，并基于平面服务端选定的目标计算函数对多种查询语句进行分析处理；平面服务端，用于获取用户提交的多种查询语句，并将接收到的多种计算函数进行展示，将用户触发的第一选择指令至与目标计算函数对应的第一目标计算引擎。

技术研发人员：路培杰,杨辉,周志忠,刘文虎,罗颖
受保护的技术使用者：中科云谷科技有限公司
技术研发日：
技术公布日：2024/3/21