本发明涉及机器学习，具体涉及一种解释黑盒人工智能模型所建模的稀疏交互效用的方法和系统。
背景技术：
1、目前，深度学习已在各个领域得到广泛应用，并展现出强大性能，但使用者与研究者很难分析人工智能模型的黑盒本质。在现有的技术中，基于交互的解释方法能够在保证可靠性的前提下，定量分析模型输入中各个单元、属性组合的产生的交互效用，但无法保证解释结果的稀疏性、简洁性，而稀疏、简洁的解释结果恰是人工智能可解释性方法的必要条件。
2、因此，如何可靠地解释黑盒模型所建模的交互效用，并同时保证其稀疏性、简洁性，是可解释性领域亟待解决的问题。
技术实现思路
1、本发明的目的在于发明一种解释黑盒人工智能模型所建模的稀疏交互效用的方法和系统，可以自动地分析模型所建模的交互分布。该方法包括以下步骤：
2、(1)选取模型
3、选取一待分析的黑盒人工智能模型，该黑盒人工智能模型为在某一数据集上预先训练好的模型。
4、(2)获取需要进行评估的数据
5、收集和预处理待评估数据，数据形式可以是表格数据、图片、文本、语音等，但需与步骤(1)中的模型兼容。所述待评估数据中包含一定数量的输入单元。
6、(3)建模输入单元间的“与加关系”和“或加关系”
7、将步骤(2)中待评估的数据输入步骤(1)中的模型，并获取模型输出。基于黑盒模型的输出，对输入单元间的交互配合作用进行建模，获得由不同输入单元组成的集合，并计算每个集合的交互强度。将黑盒模型表达成输入单元组合间的“与加关系”和“或加关系”的组合。
8、(4)优化“与加关系”和“或加关系”的组合
9、基于步骤(3)中所述的“与加关系”和“或加关系”，通过优化“与加关系”和“或加关系”的组合，使得两种关系的表达都更简洁，更稀疏。
10、在一个优选例中，所述步骤(1)进一步包括以下步骤：
11、基于某一数据集，训练一黑盒人工智能模型，作为待分析的模型。可选地，该模型可以为一个深度神经网络。
12、在一个优选例中，所述步骤(2)进一步包括以下子步骤：
13、(a)收集待分析数据。可选地，如果步骤(1)中的模型可以用于图像分类，则待分析数据可以为一张图片。
14、(b)预处理待分析数据。可选地，可将待分析数据作降采样或升采样、归一化等处理，使其适应上述模型输入。
15、在一个优选例中，所述步骤(3)进一步包括以下子步骤：
16、(3a)计算上述待分析数据在任意遮挡的情况下，黑盒模型的输出值；
17、(3b)计算黑盒模型所建模待分析数据中的“与交互”；
18、(3c)计算黑盒模型所建模待分析数据中的“或交互”。
19、上述子步骤(3a)中，所述黑盒人工智能模型表示为v，所待分析数据样本x中包含n个输入单元，表示为集合n＝{1，2，...，n}，其中，输入单元的个数一般为大于等于5的正整数。可选地，可将输入数据中的每一维视作一个输入单元，也可以将输入数据划分为多个区域，将每个区域视作一个输入单元。
20、将输入单元的任意子集称为输入单元间的组合，v(s)代表黑盒模型在给定某一输入单元间的组合s，并将在n\s中的输入单元遮挡时模型的输出。特别地，如果将待分析数据不加遮挡地输入模型，获得的输出表示为v(n)，如果将带分析数据完全遮挡输入模型，获得的输出表示为
21、计算某一输入单元组合s上黑盒模型的输出v(s)时，需要在s包含的输入单元上保持待分析样本原本的输入值，而将所有s的补集n\s中的输入单元替换为基准值。特别地，假设基准值为b，遮挡后的样本xs的各个输入单元由下式定义：
22、
23、这样，v(s)可以被计算为将样本xs输入模型得到的输出值。可选地，基准值可以设置为样本集的均值，随机值，零值等。进一步，可将基于基准值b计算得到的黑盒模型输出v(s)具体地记作v(s|b)，应理解，在不产生歧义的情况下，可以将v(s|b)简写为v(s)。
24、上述子步骤(3b)中，通过计算“与交互”来评测任意输入单元组合之间的与关系对于黑盒模型输出的贡献值，“与交互”表示组合中的单元同时触发(即不被遮挡)时，对于黑盒模型输出产生的额外效用。应理解，在黑盒模型中，输入单元往往并不是单独地贡献于模型的输出，而是彼此交互配合影响模型的输出。
25、因此，对于定义iand(s)为输入单元间组合s对应的“与交互”，使得当s中所有的输入变量都触发时，iand(s)才被触发，并被累加到黑盒模型的输出中。具体地，iand(s)可以由如下公式计算得到。
26、
27、其中，s＝|s|且l＝|l|。可选地，可以基于步骤(2)中的不同基准值计算得到不同的“与交互”值，将基于基准值b计算得到的与交互记作iand(s|b)。应理解，在不产生歧义的情况下，可以将iand(s|b)简写为iand(s)。
28、上述“与交互”满足，对于任意给定的输入单元组合黑盒模型在这一输入单元组合下的输出v(t)可以拆分为所有触发的与交互iand(s)之和，如下式所示。
29、
30、其中，et满足，当i∈t时，(et)i＝1，否则，(et)i＝0；∧i∈s(et)i表示输入单元组合s中的单元是否全部触发，对∧符号后的元素做“与”操作得到的结果，即∧i∈s(et)i＝vi∈s(et)i。
31、进一步，上述与交互的计算公式可等价为如下形式，假设则存在使得iand＝av。
32、上述子步骤(3c)中，通过计算“或交互”来评测任意输入单元组合之间的或关系对于黑盒模型输出的贡献值，“或交互”表示组合中的单元至少有一个触发(即不被遮挡)时，对于黑盒模型输出产生的额外效用。应理解，在黑盒模型中，输入单元往往并不是单独地贡献于模型的输出，而是彼此交互配合影响模型的输出。
33、因此，对于定义ior(s)为输入单元间组合s对应的“或交互”，使得当s中所有的输入变量至少有一个触发时，ior(s)则触发，并被累加到黑盒模型的输出中。具体地，ior(s)可以由如下公式计算得到。
34、
35、其中，s＝|s|且l＝|l|。上述“或交互”满足，对于任意给定的输入单元组合黑盒模型在这一输入单元组合下的输出v(t)可以拆分为所有触发的或交互ior(s)之和，如下式所示。
36、
37、其中，et满足，当i∈t时，(et)i＝1，否则，(et)i＝0；vi∈s(et)i表示输入单元组合s中的单元是否至少有一个被触发，对v符号后的元素做“或”操作得到的结果，即vi∈s(et)i＝1-πi∈s[1-(et)i]。
38、进一步，上述或交互的计算公式可等价为如下形式，假设则存在使得ior＝bv。
39、在一个优选例中，所述步骤(4)进一步包括以下子步骤：
40、(4a)基于步骤(3)中的“与交互”和“或交互”，将黑盒模型输出解释成输入单元组合间的“与加关系”和“或加关系”的组合。
41、(4b)基于子步骤(4a)中“与加关系”和“或加关系”的组合，进一步优化“与加关系”和“或加关系”的组合，使得两种关系的表达更简洁，更稀疏。
42、在子步骤(4a)中，基于步骤(3)中的“与交互”和“或交互”，将黑盒模型在任意输入单元组合t下的输出v(t)解释为“与加关系”和“或加关系”的组合。可选地，基于步骤(3)中不同的基准值，可将黑盒模型的输出v(t)解释为“基于不同基准值的与加关系”和“或加关系”的组合。一般地，假设有m种不同的基准值b(1)，...，b(m)，则黑盒模型在任意输入单元组合下的输出v(t)可以解释为下式。
43、
44、因此，基于上述对黑盒模型的解释，可将模型在完整样本上的输出v(n)的拆分为其中，黑盒模型输出v(n)被解释为m组“与交互”的效用之和，其中每组“与交互”包含2n个输入单元间组合内的“与交互”效用以及一组“或交互”的效用之和，包含2n个输入单元间组合内的“或交互”效用可选地，上述m种不同的基准值可以选取为均值、随机值、零值等。
45、在子步骤(4b)中，为了进一步得到稀疏的交互，本发明希望最小化所有交互的l1-范数之和，即
46、
47、其中，||·||1表示向量的l1-范数，上式中的m即前述基准值的种数。
48、可选地，在优化上述表达式时，可以定义并满足p(1)+…+p(m)+p(or)＝0，这里的p(1)，...，p(m)，p(or)表示对于神经网络输出v的一种划分；并定义q为一个各维绝对值较小的向量，表示将模型输出解释为“与加关系”和“或加关系”所产生的偏差。使得则上述优化问题可以转换为如下形式。
49、
50、s.t.|qi|＜τi
51、其中，τi为预设的阈值。优选地，m的取值范围一般为1至10。
52、特别地，在一个实施例中，在上述子步骤(a)中，仅选取一种基准值，即m＝1时，可将黑盒模型的输出解释为下式所示的“与加关系”和“或加关系”的组合。
53、
54、其中，表示输入单元组合s的“与交互”，表示输入单元组合s的“或交互”。同样地，黑盒模型输出被解释为2n个输入单元间组合“与交互”的效用之和，以及2n个输入单元间组合“或交互”的效用之和。可选地，上述基准值可以选取为均值、随机值、零值等中的一种。
55、进一步，在子步骤(b)中，为了进一步得到稀疏的交互，本发明希望最小化所有交互的l1-范数之和，即
56、
57、其中，||·||1表示向量的l1-范数。
58、可选地，在优化上述表达式时，可以定义使得则上述优化问题可以转换为如下形式。
59、
60、s.t.|qi|＜τi
61、其中，τi为预设的阈值。优选地，
62、在一个优选例中，上述步骤(3)和步骤(4)中对于输入单元间组合的标号可以进一步包括以下步骤：
63、输入样本n对应的输出v(n)可以建模2n个输入单元间组合内的与交互作用iand和2n个输入单元间组合内的或交互作用ior，用如下方式对2n个输入单元间组合进行标号。例如，当n＝3时，设n＝{i，j，k}，优选地，可以用表一所示，标记所有输入单元间组合。
64、表一
65、
66、例如，当n＝5时，设n＝{i，j，k，l，m}，优选地，可以用表二所示，标记所有输入单元间组合。
67、表二
68、
69、本发明的第二方面，提供了一种解释黑盒人工智能模型所建模的稀疏交互效用的系统，其特征在于，包括：
70、(1)输入模块，被配置为一个预训练好的黑盒人工智能模型和一组待分析数据。
71、(2)计算模块，被配置为，基于输入模块中的模型和数据，计算模型所建模数据输入单元间的“与加关系”和“或加关系”，并优化“与加关系”和“或加关系”的组合,使得两种关系的表达都更简洁,更稀疏。
72、(3)输出模块，被配置为，输出计算模块优化得到的“与加关系”和“或加关系”的组合。
73、应理解，在本发明范围内中，本发明的上述各技术特征和在下文(如实施例)中具体描述的各技术特征之间都可以互相组合，从而构成新的或优选的技术方案。限于篇幅，在此不再一一累述。
74、通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其他特征、目的和优点将会变得更加明显。
75、本发明的主要优点在于：
76、(1)本发明提出了一种能够自动分析黑盒模型内部“与加关系”与“或加关系”的方法和系统；
77、(2)本发明所公开的方法和系统能够保证解释结果的严谨性，即，基于本发明中提出的“与交互”和“或交互”，能够实现将黑盒模型输出精确拆分为不同输入单元之间的交互效用之和；
78、(3)本发明所公开的方法和系统能够保证解释结果的简洁性，即，基于本发明中提出的对“与加关系”和“或加关系”的优化，能够得到更稀疏、简洁的交互解释；
79、(4)本发明所公开的方法和系统具有广泛的普适性和一般性，即，适用于大部分黑盒模型，包括但不限于深度神经网络等。
80、本技术的说明书中记载了大量的技术特征，分布在各个技术方案中，如果要罗列出本技术所有可能的技术特征的组合(即技术方案)的话，会使得说明书过于冗长。为了避免这个问题，本技术上述
技术实现要素：
中公开的各个技术特征、在下文各个实施方式和例子中公开的各技术特征、以及附图中公开的各个技术特征，都可以自由地互相组合，从而构成各种新的技术方案(这些技术方案均因视为在本说明书中已经记载)，除非这种技术特征的组合在技术上是不可行的。例如，在一个例子中公开了特征a+b+c，在另一个例子中公开了特征a+b+d+e，而特征c和d是起到相同作用的等同技术手段，技术上只要择一使用即可，不可能同时采用，特征e技术上可以与特征c相组合，则，a+b+c+d的方案因技术不可行而应当不被视为已经记载，而a+b+c+e的方案应当视为已经被记载。
1.一种测定黑盒人工智能模型的稀疏交互效用的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述步骤(3)中的“与交互”iand(s)通过以下公式得出：
4.根据权利要求1所述的方法，其特征在于，所述步骤(3)中的“或交互”ior(s)通过以下公式得出：
5.根据权利要求1所述的方法，其特征在于，所述步骤(4)中通过如下公式将所述黑盒模型的输出v(t)解释为“与加关系”和“或加关系”的组合：
6.根据权利要求2所述的方法，其特征在于，在所述步骤(5)中，通过如下公式进一步得到更加稀疏的交互关系：
7.根据权利要求6所述的方法，其特征在于，可以通过如下方式简化如权利要求6所述的公式：
8.根据权利要求1所述的方法，其特征在于，所述步骤(3)还包括以下步骤：
9.根据权利要求1所述的方法，其特征在于，所述待评估数据选自下组：格数据、图片、文本、语音或其组合。
10.一种解释黑盒人工智能模型所建模的稀疏交互效用的系统，其特征在于，包括如下模块：
