数据处理方法及装置与流程

本申请涉及数据库，特别涉及数据处理方法及装置。

背景技术：

1、随着互联网技术的发展，越来越多的业务开始线上化，而伴随着业务线上化的普及，数据需要依附于数据库的存储才能够支持业务开展。而相对于数据库中的数据，根据业务需求存在着增删改查等操作。实际应用中，数据计算引擎spark sql可以支持操作多种关系型数据库，比如支持从mysql、oracle、postgresql等读取和写入数据。但是目前原生的spark sql在操作数据库数据时只支持数据的查询和插入，并不支持在数据库中进行更新和删除的操作。现有技术中，公开号为cn 110399386 a所公开的技术方案，虽然公开了spark sql实现数据更新操作的技术方案；但是，其灵活性较差，而且更新和删除操作的实现都是基于最基础的解析规则完成，并未考虑实际应用场景下的场景复杂性问题，因此亟需一种有效的方案以解决上述问题。

技术实现思路

1、有鉴于此，本申请实施例提供了一种数据处理方法，以解决现有技术中存在的技术缺陷。本申请实施例同时提供了一种数据处理装置，一种计算设备，以及一种计算机可读存储介质。

2、根据本申请实施例的第一方面，提供了一种数据处理方法，应用于数据操作端，包括：

3、接收针对目标数据库提交的数据变更语句；

4、根据自定义解析规则对所述数据变更语句进行解析，根据解析结果在元数据管理端获取元数据信息；

5、根据所述元数据信息加载所述目标数据库关联的数据存储表，以及在所述数据变更语句中提取待变更数据字段；

6、基于所述数据存储表的表类型选择目标更新策略，并按照所述目标更新策略利用所述待变更数据字段对所述数据存储表进行更新，将更新结果写回所述目标数据库。

7、根据本申请实施例的第二方面，提供了一种数据处理装置，应用于数据操作端，包括：

8、接收模块，被配置为接收针对目标数据库提交的数据变更语句；

9、解析模块，被配置为根据自定义解析规则对所述数据变更语句进行解析，根据解析结果在元数据管理端获取元数据信息；

10、加载模块，被配置为根据所述元数据信息加载所述目标数据库关联的数据存储表，以及在所述数据变更语句中提取待变更数据字段；

11、更新模块，被配置为基于所述数据存储表的表类型选择目标更新策略，并按照所述目标更新策略利用所述待变更数据字段对所述数据存储表进行更新，将更新结果写回所述目标数据库。

12、根据本申请实施例的第三方面，提供了一种计算设备，包括：

13、存储器和处理器；

14、所述存储器用于存储计算机可执行指令，所述处理器执行所述计算机可执行指令时实现所述数据处理方法的步骤。

15、根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现所述数据处理方法的步骤。

16、本实施例提供的数据处理方法，为了能够提高对关系型数据库中数据操作的灵活性，且能够根据实际场景需求完成数据的操作，可以在接收到针对目标数据库提交的数据变更语句的情况下，先利用自定义解析规则对数据变更语句进行解析，实现根据解析结果在元数据管理端获取元数据信息，以此作为数据操作的基础；此后可以根据元数据信息在目标数据库中加载对应当前场景下数据操作需求的数据存储表，以及在数据变更语句中提取待变更数据字段，实现针对任意数据操作场景都可以灵活的完成数据操作；在得到数据存储表和待变更数据字段后，为了能够确保针对数据库完成任意类型的操作，可以根据数据存储表的表类型选择对应的目标更新策略，实现按照目标更新策略利用待变更数据字段对数据存储表进行更新，并将更新结果写回目标数据库即可。实现在对数据库中的数据进行操作时，可以对数据库完成任意需求的处理，从而实现更加灵活的使用数据满足实际需求。

技术特征：

1.一种数据处理方法，其特征在于，应用于数据操作端，包括：

2.根据权利要求1所述的数据处理方法，其特征在于，所述根据自定义解析规则对所述数据变更语句进行解析，根据解析结果在元数据管理端获取元数据信息，包括：

3.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述元数据信息加载所述目标数据库关联的数据存储表，包括：

4.根据权利要求3所述的数据处理方法，其特征在于，在所述数据存储表为内存数据表的情况下，所述按照所述目标更新策略利用所述待变更数据字段对所述数据存储表进行更新，包括：

5.根据权利要求3所述的数据处理方法，其特征在于，在所述数据存储表为内存数据表的情况下，所述按照所述目标更新策略利用所述待变更数据字段对所述数据存储表进行更新，包括：

6.根据权利要求3所述的数据处理方法，其特征在于，在所述数据存储表为物理数据表的情况下，所述按照所述目标更新策略利用所述待变更数据字段对所述数据存储表进行更新，包括：

7.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述数据存储表的表类型选择目标更新策略步骤执行之前，还包括：

8.根据权利要求1-7任一项所述的数据处理方法，其特征在于，所述接收针对目标数据库提交的数据变更语句步骤执行之后，还包括：

9.根据权利要求1-7任一项所述的数据处理方法，其特征在于，所述将更新结果写回所述目标数据库，包括：

10.一种数据处理装置，其特征在于，应用于数据操作端，包括：

11.一种计算设备，其特征在于，包括：

12.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1至9任意一项所述方法的步骤。

技术总结
本申请提供数据处理方法及装置，其中所述数据处理方法应用于数据操作端，包括：接收针对目标数据库提交的数据变更语句；根据自定义解析规则对所述数据变更语句进行解析，根据解析结果在元数据管理端获取元数据信息；根据所述元数据信息加载所述目标数据库关联的数据存储表，以及在所述数据变更语句中提取待变更数据字段；基于所述数据存储表的表类型选择目标更新策略，并按照所述目标更新策略利用所述待变更数据字段对所述数据存储表进行更新，将更新结果写回所述目标数据库。

技术研发人员：秦元,闫长虎,官晓岚,倪守奇,张绍震,严羽,吴裕欣,李森,胡思豹,张朝丰
受保护的技术使用者：恒生电子股份有限公司
技术研发日：
技术公布日：2024/1/16