本发明涉及数据处理,尤其涉及一种债券交易数据收集和处理系统。
背景技术:
1、在互联网蓬勃发展的大背景下,债券交易同样跟随互联网的发展,通过互联网终端进行债券交易,包括互联网交互软件或者交易网页,大大缩减了在债券交易过程中通过人工处理交易数据的不便捷性,但是由于通过互联网进行数据交互,债券交易数据的收集和处理同样是一种挑战,如何保证数据收集和处理的精准性和保证数据的完整程度是亟待解决的问题。
2、中国专利申请公开号:cn114386949a公开了一种新债信息管理系统,包括:债券导入模块,用于根据自定义的格式,导入债券信息;债券信息去重模块,用于获取导入的债券信息,去掉重复的债券信息;债券转换模块,用于根据预设的转换规则,将去重后的债券信息转为结构化数据,并存储标债券信息;筛选模块,用于获取用户输入的查询要素,对存储的所述债券信息进行筛选;展示模块,用于根据用户自定义配置的表头展示筛选后的债券信息;债券操作模块,用于接收用户指令,对展示的债券信息进行对应的操作。该发明实施例可以减少用户手工操作风险、提升了内部协同效率,对外服务质量和口碑;使得新债数据管理更加人性化,使用和维护成本大大降低;由此可见,现有技术在对债券交易过程中仅仅只是将债券信息去重后进行结构化处理,然后进行数据转存和展示,并未对交易服务器在对交易数据的收集和处理过程进行控制,从而导致对交易数据的处理过程控制精度不高以至于交易服务器对交易数据的处理效率低的问题。
技术实现思路
1、为此,本发明提供一种债券交易数据收集和处理系统,用以克服现有技术中未对交易服务器在对交易数据的收集和处理过程进行控制,从而导致对交易数据的处理过程控制精度不高以至于交易服务器对交易数据的处理效率低的问题。
2、为实现上述目的,本发明提供一种债券交易数据收集和处理系统,包括:
3、交易数据收集终端,其包括用以采集当前周期的交易数据的数据采集单元,用以对当前周期的交易数据进行整合的数据整合单元,以及用以对数据整合单元整合完成的当前周期的交易数据进行传输的数据传输单元;
4、交易云服务器,其与若干交易数据收集终端连接,该交易云服务器包括用以接收所述数据传输单元传输的当前周期的交易数据的数据接收单元,用以对所述数据接收单元接收的当前周期的交易数据进行分析处理的数据处理单元,用以将数据处理单元分析处理完成的交易数据上传至区块链的上链传输单元;
5、云数据库,其与所述交易云服务器连接,用以存储所述数据处理单元处理完成的所述交易数据;
6、其中,所述数据整合单元在所述数据采集单元采集当前周期的交易数据完成条件下对当前周期的交易数据进行脱敏处理以确定对当前周期的交易数据的整合方式,以在所述整合方式下确定当前周期的交易数据的合格性,以及在相应整合方式下根据当前周期的交易数据的历史交易稳定性评价均值确定对相应整合方式的调整方式。
7、进一步地,所述数据采集单元在预设采集条件下采集当前周期的交易数据,所述数据整合单元以预设脱敏规则对当前周期的交易数据进行脱敏处理,并在脱敏处理完成时根据脱敏处理的脱敏数据占比与预设脱敏数据占比的比对结果确定对当前周期的交易数据的若干整合方式,其中若干所述整合方式包括在脱敏数据占比小于等于预设脱敏数据占比条件下的第一整合方式和在脱敏数据占比大于预设脱敏数据占比条件下的第二整合方式,其中预设采集条件为当前周期下单个用户提交交易数据完成。
8、进一步地,所述数据整合单元在第一整合方式下,将单个用户的交易数据进行整合,确定单个用户的交易数据中超出预设字节的数据量,并在该数据量小于等于预设数据量状态下确定单个用户的交易数据合格。
9、进一步地,所述数据整合单元在第一整合方式下,统计当前交易周期的交易数据的交易合格率,以在该交易合格率大于预设交易合格率状态下确定当前周期的交易数据合格。
10、进一步地,所述数据整合单元在第二整合方式下,将当前周期的所述交易数据中的单个用户的加密数据进行整合,确定单个用户的加密数据的数据量,并在该加密数据量大于标准加密数据量状态下确定单个用户的加密数据合格。
11、进一步地,所述数据整合单元在第二整合方式下,统计当前周期的所述交易数据的加密合格率,并在该加密合格率大于预设加密合格率状态下确定当前周期的交易数据合格。
12、进一步地,所述数据整合单元在当前周期的交易数据合格条件下,确定所述当前周期的交易数据的完整程度评价值,并在该完整程度评价值大于预设完整程度评价值状态下确定当前周期的交易数据可上传至所述交易云服务器。
13、进一步地,所述数据处理单元在相应整合方式下,确定当前周期的交易数据的历史交易稳定性评价均值,并在该历史交易稳定性评价均值小于等于交易稳定性评价值标准状态下确定对相应整合方式进行调整。
14、进一步地,所述数据处理单元在确定对相应整合方式调整条件下,计算所述历史交易稳定性评价均值与交易稳定性评价值标准的差值,以根据该差值与预设差值的比对结果确定对相应整合方式的调整方式。
15、进一步地,所述数据处理单元根据以下公式计算所述历史交易稳定性评价均值w,设定
16、,
17、其中,qai为当前周期的交易数据中第i个交易数据的买入交易量,qbi为当前周期的交易数据中第i个交易数据的卖出交易量,qz为当前周期的交易数据的总交易量,n为当前周期的交易数据的个数。
18、与现有技术相比,本发明的有益效果在于,本发明通过确定脱敏数据占交易数据的比重,以使数据采集单元在收集所述交易数据时确定对债券交易数据的整合方式,实现对交易数据的处理过程的控制,从而提高对交易数据的处理效率。
19、进一步地,本发明通过对每个用户的交易数据进行整合,并对各用户的交易数据中用户所必须上传的整体数据的数据量进行确定,以使通过该数据量和预设数据量的比对结果确定单个用户的交易数据是否合格,从而在该第一整合方式下统计当前周期的交易数据的交易合格率,从而根据交易合格率确定交易数据的合格性,实现对交易数据处理过程的精准控制,从而进一步提高了对交易数据的处理效率。
20、进一步地,本发明通过对每个用户的交易数据进行整合,并确定各用户的交易数据中用户的加密数据的数据量进行确定,以使通过该加密数据量与预设加密数据量的比对结果确定单个用户的交易数据是否合格,从而在该第二整合方式下统计当前周期的交易数据的加密合格率,从而通过加密合格率确定交易数据的合格性,实现对交易数据处理过程的精准控制,从而进一步提高了对交易数据的处理效率。
21、进一步地,本发明通过在确定当期周期的交易数据合格完成条件下,计算当前周期的交易数据的完整程度评价值,以确定当前周期的交易数据的完整性,通过与预设完整性进行比对,进一步提高了对交易数据处理过程的精准控制,从而进一步提高了对交易数据的处理效率。
22、进一步地,本发明通过数据处理单元计算当前周期的交易数据对应的历史交易数据的历史交易稳定性评价均值,以使表征当前周期的交易数据在历史交易过程中的稳定性,以根据历史交易稳定性评价均值与交易稳定性评价值标准的比对结果确定是否对整合方式进行调整,进一步提高了对交易数据处理过程的精准控制,从而进一步提高了对交易数据的处理效率。