一种基于特征归因的软件安全模型解释方法

本发明涉及计算机人工智能领域和软件安全领域，尤其涉及一种基于特征归因的软件安全模型解释方法。

背景技术：

1、在当今日益复杂的网络安全领域，基于深度学习的软件安全模型标志着一次重要的技术飞跃。这些先进的模型通过分析海量数据集，涵盖了从恶意软件到入侵尝试，再到系统的异常行为等多个方面，能够有效地预测和防范潜在的安全威胁。它们之所以受到高度评价，是因为能够处理极其复杂的数据并揭示其中隐含的模式，这使得它们在自动化威胁检测和响应的能力上显现出非凡的潜力。然而，深度学习模型的一个主要挑战在于它们的“黑箱”性质，即模型的决策过程往往不透明。这在软件安全领域尤为重要，因为安全分析师需要理解模型为何将某些活动识别为威胁，以验证其有效性并做出适当响应。因此，模型的可解释性成为了一个关键议题。

2、提高模型的可解释性有助于增强用户对安全系统的信任，并且使安全团队能够更有效地利用深度学习工具。这包括了解模型的决策逻辑，从而可以对模型进行调整以应对新的或变化的威胁。此外，可解释的模型还有助于识别和纠正模型的偏见或错误，从而提高整体的安全性能。在深度学习领域，已经发展出多种算法来提高模型的可解释性，这些方法旨在揭示复杂模型背后的决策逻辑。一些值得注意的可解释性算法包括：1.lime通过创建可解释的模型来近似复杂模型在局部区域的预测，它通过修改样本数据并观察预测结果的变化，来解释单个预测(ribeiro m t,singh s,guestrin c."why should i trust you？"explaining the predictions of any classifier[c]//proceedings of the 22nd acmsigkdd international conference on knowledge discovery and data mining.2016:1135-1144.)；2.shap基于博弈论中的shapley值，提供了一种方法来评估每个特征对模型预测的贡献，它通过计算所有可能特征组合的预测结果，来确定每个特征的重要性(lundberg s m,lee s i.a unified approach to interpreting model predictions[j].advances in neural information processing systems,2017,30.)；3.grad-cam方法主要用于卷积神经网络(cnn)，通过可视化特定类别的特征映射来提供直观的解释，它使用梯度信息来突出显示影响模型决策的图像区域(selvaraju r r,cogswell m,das a,etal.grad-cam:visual explanations from deep networks via gradient-basedlocalization[c]//proceedings of the ieee international conference on computervision.2017:618-626.)。

3、在解释深度学习软件安全应用模型的现有工作中，尽管特征归因方法为我们提供了一种理解模型决策过程的途径，但它们在实际应用中面临着显著的限制。这些方法或只与特定的模型架构兼容，或在为每个特征分配重要性时不够准确；虽然在图像分析中取得了一定的成功，但将这些方法应用于软件安全模型时，它们存在解释保真度低的问题，限制了它们在下游分析任务中的准确性。此外，即便一些方法被定制到安全场景中以提高保真度，这种提升也往往是任务特定的，并不能推广到不同的软件安全分析任务。例如，在处理递归神经网络(rnn)等复杂模型时，lemna方法着重处理了特征依赖性，但它需要大量的计算成本，而且在模型不同时提升保真度的能力是有限的(guo w,mu d,xu j,et al.lemna:explaining deep learning based security applications[c]//proceedings of the2018acm sigsac conference on computer and communications security.2018:364-379.)。

4、此外，数据表示的多样性以及模型特征与可操作理解之间的语义差距导致了模型解释的可理解性问题。例如，对于以低级语言(如字节码)表示的特征，单一特征(如操作码)并不总是能准确反映恶意性的程度。因此，特征归因方法基于单个特征的解释风格在帮助安全专家进行分析时往往并不提供足够的洞察力。(he y,lou j,qin z,et al.finer:enhancing state-of-the-art classifiers with feature attribution to facilitatesecurity analysis[c]//proceedings of the 2023acm sigsac conference oncomputer and communications security.2023:416-430.)这些不足表明，需要进一步的研究来开发更为高效、通用的深度学习软件安全模型解释方法。

技术实现思路

1、本发明的目的在于针对现有技术的不足，提供了一种基于特征归因的软件安全模型解释方法。

2、本发明的目的是通过以下技术方案来实现的：一种基于特征归因的软件安全模型解释方法，包括以下步骤：

3、(1)设计代理梯度解释器对训练样本进行解释得到解释样本，随后通过自监督学习的方法对解释样本进行样本增强，通过多任务学习的方式对软件安全模型进行训练更新，得到训练后的软件安全模型；

4、(2)使用一个分解特征实体的工具对解释样本进行分解，得到标注矩阵；结合标注矩阵对特征归因算法集合进行解释粒度的任务适应，得到适应后的特征归因算法集合；

5、(3)根据适应后的特征归因算法集合中每一个适应后的特征归因算法对解释样本进行扰动，得到每一个适应后的特征归因算法下动后的样本和解释样本在训练后的软件安全模型上的评估指标；随后根据评估指标和每一个适应后的特征归因算法对解释样本的解释结果，得到解释样本的最终解释结果。

6、进一步地，所述步骤(1)具体包括以下子步骤：

7、(1.1)设计一个与软件安全模型相似的代理梯度解释器，以任意一个训练样本xi作为输入，代理梯度解释器对训练样本xi进行解释，得到训练样本xi对应的解释样本xi；通过自监督学习的方法对解释样本xi进行样本增强，生成多个增强扰动样本其中，为解释样本xi对应的第j个增强扰动样本，总共ni个增强扰动样本；

8、(1.2)将任意一个增强扰动样本和解释样本xi一起输入至软件安全模型，得到损失函数其中，为增强扰动样本在软件安全模型中的预测值，f(xi)为解释样本xi在软件安全模型中的预测值，δ为相减运算或相除运算；

9、(1.3)对解释样本xi对应的每一个增强扰动样本重复步骤(1.3)，得到损失函数

10、(1.4)计算得到软件安全模型的多任务学习的损失函数lossa，计算公式如下：

11、

12、其中，loss1为软件安全模型的原损失；

13、(1.5)结合多任务学习的损失函数lossa并使用梯度下降的算法对软件安全模型的参数进行训练更新，得到训练后的软件安全模型。

14、进一步地，所述步骤(2)具体包括以下子步骤：

15、(2.1)使用一个分解特征实体的工具对解释样本xi进行分解，得到解释样本xi的特征实体集合xi′，所述特征实体集合中每一个特征实体由解释样本xi中1个或多个特征组成；

16、(2.2)针对特征实体集合xi′，每一个特征实体依次应用软件安全模型的特征提取算法，得到各特征实体在特征空间上的标注矩阵ii；

17、(2.3)使用标注矩阵ii对特征归因算法集合g＝{g1,g2,…,gb,…,ge}中每一个特征归因算法gb进行解释粒度的任务适应：当特征归因算法gb属于白盒算法时，首先按照原算法生成特征空间上的解释，再利用标注矩阵标注矩阵ii，对解释样本xi中各特征实体对应的特征空间的解释做l1正则；当特征归因算法gb属于黑盒算法时，首先通过标注矩阵ii将原算法定义的特征空间的扰动替换为特征实体空间的扰动，再将扰动后的特征实体集输入原算法的拟合模型进行训练，得到适应后的特征归因算法集合g′＝{g1′,g′2,…,gb′,…,g′e}，其中，gb′为特征归因算法gb对应的适应后的特征归因算法。

18、进一步地，所述步骤(3)具体包括以下子步骤：

19、(3.1)适应后的特征归因算法集合g′中每一个适应后的特征归因算法gb′对解释样本xi对应的特征实体空间进行解释，将解释值大于0.5的特征实体空间置0，其他特征实体空间置1，生成解释样本xi对应的二值掩码mi；再通过标注矩阵ii对应到解释样本xi的特征空间，以此扰动解释样本xi，得到扰动后的样本随后将扰动后的样本输入至训练后的软件安全模型，得到预测值

20、(3.2)根据解释样本xi在训练后的软件安全模型中的预测值f′(xi)和扰动后的样本在训练后的软件安全模型中的预测值得到评估指标

21、(3.3)得到解释样本xi的最终解释结果g(xi)，计算公式如下：

22、

23、其中，gb′(xi)为适应后的特征归因算法gb′对解释样本xi的解释结果。

24、本发明的有益效果是：第一方面，本发明使用自监督学习的方法，实现了深度学习软件安全模型可解释性的提升，增加了模型决策的可信度；其模型更新方法所需的训练周期短，模型解释的保真度能得到显著提升，且与模型的结构无关；第二方面，本发明基于用户交互与解释算法优化，实现了解释结果在下游安全分析任务中的可读性，增强了解释的实用性；其优化方法实现简便，用户友好，且能根据实际场景灵活调整。