日志中心的维护方法及系统与流程

本技术涉及计算机，特别涉及日志中心的维护方法及系统。

背景技术：

1、相关技术中日志中心的维护存在存储压力大，日志请求响应不及时、扩容安全性低、局部响应过热等问题，日志中心的系统架构不完善使得这些问题虽然在不同的技术方案中可以被分别独立的部分解决，但是会存在顾此失彼的问题，目前尚没有可以从系统架构层面完备解决这些问题的日志中心维护系统。

技术实现思路

1、本技术实施例提供了一种日志中心的维护方法及系统，从系统架构层面完备解决上述各问题。

2、根据本技术实施例的一个方面，提供了日志中心维护方法，所述方法应用于日志中心，所述日志中心包括日志备份服务器、多个日志存储服务器、重点日志管理服务器、日志请求并发管理服务器和日志请求路由器，所述日志备份服务器与各所述日志存储服务器通信连接，所述重点日志管理服务器与所述日志备份服务器通信连接，所述日志请求并发管理服务器通过所述日志请求路由器与各所述日志存储服务器通信连接，所述方法包括：

3、在获取到新增日志的情况下，将所述新增日志进行备份处理，并将备份结果一一对应传送至日志存储服务器，以使得每一所述日志存储服务器存储所述新增日志，删除所述日志备份服务器中的全部备份结果，保留一份新增日志；

4、日志请求并发管理服务器并发接收来自多个客户端的日志查询请求，针对每一所述日志查询请求执行下述操作：基于所述日志查询请求的序号查询日志请求序列，若所述日志请求序列中已经存在所述序号，删除所述日志查询请求；若所述日志请求序列不存在所述序号，基于所述日志查询请求的请求体查询所述日志请求序列，若所述日志请求序列中已经存在所述请求体对应的目标请求，判断所述目标请求的状态，若所述目标请求为待处理状态，则删除所述日志查询请求，若所述目标请求为阻塞状态，则向所述日志查询请求对应的客户端发送单次查询失败并且自动继续查询通知，在所述日志请求序列中删除所述目标请求；根据所述目标请求对应的当前应答节点和所述日志查询请求，生成目标日志查询请求，将所述目标日志查询请求压入所述日志请求序列；若所述日志请求序列中不存在所述请求体对应的目标请求，直接将所述日志查询请求压入所述日志请求序列；每一所述日志存储服务器都指向对应的应答节点；

5、各所述日志存储服务器定时向所述日志请求路由器发送自身状态信息，所述日志请求路由器根据各状态信息维护路由表，并顺次提取所述日志请求序列中的请求，基于所述路由表为提取到的请求分配对应的应答节点。

6、在一个实施例中，所述基于所述路由表为提取到的请求分配对应的应答节点，包括：

7、在所述提取到的请求中不包含应答节点信息的情况下，在所述路由表中确定处于有效时间区间的目标应答节点，将所述提取到的请求路由至所述目标应答节点对应的日志存储服务器，触发所述日志存储服务器对所述提取到的请求进行响应，将所述提取到的请求对应的状态从未处理变更为处理中；

8、在所述提取到的请求中包含应答节点信息的情况下，在所述路由表中确定处于有效时间区间的目标应答节点，所述目标应答节点与所述应答节点信息指向的节点为不同节点，将所述提取到的请求路由至所述目标应答节点对应的日志存储服务器，触发所述日志存储服务器对所述提取到的请求进行响应，将所述提取到的请求对应的状态从未处理变更为处理中；

9、所述方法还包括：在所述日志存储服务器对所述提取到的请求的响应完成后，所述日志存储服务器触发在所述日志请求序列中删除所述提取到的请求。

10、在一个实施例中，所述方法还包括：

11、若所述日志请求序列中存在某个请求并且该请求的状态为处理中，且该请求处于处理中的这一状态的时长大于第一预设阈值，则将所述请求对应的状态修改为阻塞状态；

12、若所述日志请求序列中存在某个请求并且该请求的状态为阻塞状态，且该请求处于阻塞状态的时长大于第二预设阈值，则在所述日志请求序列中删除所述请求，向所述请求对应的客户端发送查询失败通知，并生成投诉记录，所述投诉记录包括所述请求对应的应答节点。

13、在一个实施例中，所述向所述日志查询请求对应的客户端发送单次查询失败并且自动继续查询通知之后，还包括：

14、生成投诉记录，所述投诉记录包括所述目标请求对应的应答节点；

15、定时统计各投诉记录，得到每一所述应答节点在预设时间区间内对应的投诉记录数量，在所述路由表中删除投诉数量大于第三预设阈值的应答节点的信息。

16、在一个实施例中，所述方法还包括：

17、在客户端获取到针对其发出的日志查询请求的响应的情况下，根据所述响应中的应答节点身份信息验证应答节点合法性，在合法性满足要求的情况下，信任所述响应中的数据；

18、在合法性不满足要求的情况下，生成应答节点删除请求，将所述应答节点删除请求发送至所述日志请求路由器，以触发所述日志请求路由器在所述路由表中删除合法性不满足所述要求的所述应答节点。

19、在一个实施例中，所述日志请求路由器，还执行下述操作：

20、在获取到某一日志存储服务器发送的自身状态信息并且在该自身状态信息指示状态健康的情况下，判断所述日志存储服务器对应的应答节点的记录是否存在于所述路由表中；

21、若否，则添加记录，并将该记录的有效时间区间进行更新；若是，直接将对应的记录的有效时间区间进行更新。

22、在一个实施例中，所述方法还包括：

23、在所述日志备份服务器存储的全量日志中提取重点日志，将所述重点日志存储在所述重点日志管理服务器；

24、所述重点日志管理服务器并发接收来自多个客户端的重点日志检索请求，并实时反馈检索结果。

25、在一个实施例中，所述在所述日志备份服务器存储的全量日志中提取重点日志，包括：

26、基于所述全量日志生成日志记录表单，所述日志记录表单中每一条记录都包括日志事件表单项、日志来源表单项、以及日志附加信息表单项；各表单项的内容为量化数据；

27、生成空的重点日志记录表单；

28、顺序提取所述日志记录表单中的日志记录，针对提取到的每一目标日志记录，若所述重点日志记录表单中存在关键记录，则判定本次所述目标日志记录处理完毕，所述关键记录为对应的日志事件表单项、日志来源表单项、以及日志附加信息表单项的内容均不小于所述目标日志记录中对应的表单项的内容，并且与所述目标日志记录不相同的日志记录；若所述重点日志记录表单中存在待删除记录，从所述重点日志记录表单中删除所述待删除记录，将所述目标日志记录添加至所述重点日志记录表单，所述待删除记录为对应的日志事件表单项、日志来源表单项、以及日志附加信息表单项的内容均小于所述目标日志记录中对应的表单项的内容，并且与所述目标日志记录不相同的日志记录；若是其他情况，则直接将所述目标日志记录加入所述重点日志记录表单。

29、另一个方面还提供日志中心维护系统，所述系统包括日志中心，所述日志中心包括日志备份服务器、多个日志存储服务器、重点日志管理服务器、日志请求并发管理服务器和日志请求路由器，所述日志备份服务器与各所述日志存储服务器通信连接，所述重点日志管理服务器与所述日志备份服务器通信连接，所述日志请求并发管理服务器通过所述日志请求路由器与各所述日志存储服务器通信连接，所述系统用于执行下述操作：

30、在获取到新增日志的情况下，将所述新增日志进行备份处理，并将备份结果一一对应传送至日志存储服务器，以使得每一所述日志存储服务器存储所述新增日志，删除所述日志备份服务器中的全部备份结果，保留一份新增日志；

31、日志请求并发管理服务器并发接收来自多个客户端的日志查询请求，针对每一所述日志查询请求执行下述操作：基于所述日志查询请求的序号查询日志请求序列，若所述日志请求序列中已经存在所述序号，删除所述日志查询请求；若所述日志请求序列不存在所述序号，基于所述日志查询请求的请求体查询所述日志请求序列，若所述日志请求序列中已经存在所述请求体对应的目标请求，判断所述目标请求的状态，若所述目标请求为待处理状态，则删除所述日志查询请求，若所述目标请求为阻塞状态，则向所述日志查询请求对应的客户端发送单次查询失败并且自动继续查询通知，在所述日志请求序列中删除所述目标请求；根据所述目标请求对应的当前应答节点和所述日志查询请求，生成目标日志查询请求，将所述目标日志查询请求压入所述日志请求序列；若所述日志请求序列中不存在所述请求体对应的目标请求，直接将所述日志查询请求压入所述日志请求序列；每一所述日志存储服务器都指向对应的应答节点；

32、各所述日志存储服务器定时向所述日志请求路由器发送自身状态信息，所述日志请求路由器根据各状态信息维护路由表，并顺次提取所述日志请求序列中的请求，基于所述路由表为提取到的请求分配对应的应答节点。

33、另一个方面还提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如前述内容提及的一种日志中心维护方法。