本发明涉及网络安全和隐私保护，尤其涉及一种基于多模态和对抗学习的跨站点主体身份链接方法、系统及设备。
背景技术：
1、多模态学习是一种同时利用多种感知模态（如文本、图像等）的机器学习方法。与传统的单一模态学习相比，多模态学习能够更好地利用不同模态之间的互补信息，从而提高整体的学习性能。然而，目前多模态学习应用于跨站点链接时，存在缺乏虚拟连接关系指导的问题，导致在信息关联和整合方面的效果不佳。这种局限性限制了多模态学习在更复杂和动态环境中的应用，特别是在需要考虑社交网络和目标行为的场景中。
2、对抗学习是一种生成式深度学习方法，通过训练两个相互对抗的神经网络模型，即生成模型（generator）和判别模型（discriminator），来实现数据的生成。生成模型负责生成接近真实数据分布的样本，而判别模型则试图区分生成样本和真实样本。两个模型通过不断的博弈训练，最终使得生成模型能够生成高质量、接近真实数据分布的样本。
技术实现思路
1、鉴于此，本发明提供一种基于多模态和对抗学习的跨站点主体身份链接方法、系统及设备，对抗学习能够有效地促进感兴趣目标的链接性能，因此可以显著提高系统在检测和识别复杂模式下的准确性和鲁棒性，从而提升整体的安全性和可靠性。
2、本发明公开了一种基于多模态和对抗学习的跨站点主体身份链接方法，其包括：
3、步骤1：将待检测目标名称和跨站点目标名称输入训练后的对抗目标名称生成网络，得到感兴趣目标名称；
4、步骤2：在信息平台检索跨信息平台目标名称、感兴趣目标名称和待检测目标名称的属性、文本内容和虚拟连接关系，并输入到多模态融合的目标身份链接检测网络，提取目标名称、文本内容和虚拟连接关系中的文本信息和图像信息，并使用图神经网络和注意力机制融合得到最终模态；
5、步骤3：根据得到的最终模态，使用对抗学习来增强不同平台上同一个对象的表示相似性，最终得到检测结果。
6、进一步地，所述步骤1包括：
7、使用双向循环神经网络和条件随机场，对目前待检测的目标名称进行序列标记，并使用跨站点目标名称进行对比，获取最重要标记，通过比较，删除标记前后的联动预测来评估每个标记的重要性，具体公式如下：
8、
9、式中，代表链接预测的置信度，使用预训练后的colink为链接网络，为标记的第m-1个标记，为标记的第m+1个标记，n为标记总数，为每个标记的重要性；
10、获取最重要标记后，使用目标名称干扰策略，在不影响正常理解的情况下替代原来的标记，并使用colink将最重要标记与跨站点目标名称进行联合预测，若链接网络预测该目标不同，则目标名称干扰策略干扰后的目标名称为感兴趣目标名称。
11、进一步地，所述步骤2包括：
12、步骤21：提取目标名称特征，对于给定的目标名称，计算其对应的目标名称特征中的每个字符的个数，继而得到目标名称字符计数矩阵，使用自编码器将目标名称字符计数矩阵转换为解码器；
13、步骤22：获取目标名称嵌入矩阵，使用预训练的bert模型获取该目标名称对应的每个文本的嵌入向量，使用预训练模型resnet获得该目标名称对应的每个图像的嵌入，对于多模态嵌入，使用自适应多通道图卷积网络产生不同目标的每种模态特征，其中，为不同目标内特征相似的邻接矩阵，为编码器；
14、步骤23：将拓扑图和融合到卷积层中获取虚拟连接关系；
15、步骤24：在训练过程中，使用随机梯度下降法来优化预训练的bert模型，随后使用注意力网络将虚拟连接关系融合到各种模态信息中，并得到最终模态融合；各种模态信息包括、和。
16、进一步地，所述步骤21包括：
17、使用字符级bag-of-words模型来提取目标名称特征，对于给定的目标名称计算每个字符的个数，得到向量，其中代表目标名称中每一个字符，代表转化后的向量维度大小，即将一个字符转换成一个固定大小的一维向量，继而得到目标名称字符计数矩阵，代表单独字符向量，n代表目标名称字符总数量，使用自编码器进行转换得：
18、
19、
20、其中，和是编码器的权矩阵和偏置向量，和是编码器的权矩阵和偏置向量，为解码器，为编码器。
21、进一步地，通过以下公式不断优化编码器和解码器的输出：
22、
23、其中，为编码器与解码器之间的损失函数，为解码器输出的每一个字符向量。
24、进一步地，所述步骤23包括：
25、将初始化后的拓扑图和特征图融合到卷积层中获取虚拟连接关系，具体的映射函数为：
26、
27、其中，和分别代表模态信息在卷积层的拓扑图和特征图嵌入，代表卷积层的层数量，为的度矩阵，relu代表激活函数，和分别代表拓扑图和图神经参数矩阵，和分别代表拓扑图和图神经度矩阵，和分别代表拓扑图和图神经邻接矩阵。
28、进一步地，所述步骤24包括：
29、在训练过程中，使用随机梯度下降法来优化预训练的bert模型，随后使用注意力网络进行融合，最终嵌入得到：
30、
31、其中，为最终模态融合表示，代表注意力机制，分别代表特征图注意力参数、拓扑图注意力参数和平均注意力参数，、代表特征图特征、拓扑图特征和平均图特征嵌入，u、t、i分别代表带有虚拟连接关系的初始化模态输入。
32、进一步地，所述步骤3包括：
33、三元目标，是正常目标载体，为同一目标的不同载体，为不同目标载体，其中，将分别与，进行相似对比，获得和，并使用损失促进正负样本的相似度：
34、
35、其中，与代表正负样本对的相似得分，代表目前输入载体数量，是sigmod函数；
36、在对抗学习结束后，网络输出最终每个目标之间的相似得分，根据该相似得分，相应得出检测结果。
37、本发明还公开了一种基于多模态和对抗学习的跨站点主体身份链接系统，用于实现上述任一项所述的基于多模态和对抗学习的跨站点主体身份链接方法，其包括：
38、获取模块，用于将待检测目标名称和跨站点目标名称输入训练后的对抗目标名称生成网络，得到感兴趣目标名称；
39、融合模块，用于在信息平台检索跨信息平台目标名称、感兴趣目标名称和待检测目标名称的属性、文本内容和虚拟连接关系，并输入到多模态融合的目标身份链接检测网络，提取目标名称、文本内容等中的文本信息和图像信息，并使用图神经网络和注意力机制融合得到最终模态；
40、检测模块，用于根据得到的最终模态，使用对抗学习来增强不同平台上同一个对象的表示相似性，最终得到检测结果。
41、本发明还公开了一种计算机设备，其包括：处理器和用于存储所述处理器的可执行指令的存储器；其中，所述处理器用于执行所述可执行指令，以实现上述任一项所述的基于多模态和对抗学习的跨站点主体身份链接方法。
42、由于采用了上述技术方案，本发明具有如下的优点：
43、1.本发明采用多模态网络融合文本和图像信息，相对于单模态信息融合，优点在于利用不同模态之间的互补信息，从而提高整体的学习性能，具体地，将文本内容、目标名称进行跨站点链接，获取最大相似结果；并且有效融合节点的虚拟连接关系信息，在信息融合的过程中将节点拓扑图信息和图特征信息融合到特定的卷积网络，增加的虚拟连接关系特征，有效地提高链接检测的准确性；
44、2.本发明采用对抗目标名称生成网络，将目前待检测的目标名称使用双向循环神经网络和条件随机场进行序列标记，并获取最重要标记，在不影响人类正常理解的前提下采取干扰策略进行替代，最终获取感兴趣目标名称，有效降低目标对抗跨站点链接的隐蔽性；
45、3.本发明使用对抗网络，将与目前的目标名称进行对抗学习，将目前目标所产生的嵌入特征使用正负样本进行对抗学习，进一步增强输出的不同目标之间的相似。
1.一种基于多模态和对抗学习的跨站点主体身份链接方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态和对抗学习的跨站点主体身份链接方法，其特征在于，所述步骤1包括：
3.根据权利要求1所述的基于多模态和对抗学习的跨站点主体身份链接方法，其特征在于，所述步骤2包括：
4.根据权利要求3所述的基于多模态和对抗学习的跨站点主体身份链接方法，其特征在于，所述步骤21包括：
5.根据权利要求4所述的基于多模态和对抗学习的跨站点主体身份链接方法，其特征在于，通过以下公式不断优化编码器和解码器的输出：
6.根据权利要求4所述的基于多模态和对抗学习的跨站点主体身份链接方法，其特征在于，所述步骤23包括：
7.根据权利要求6所述的基于多模态和对抗学习的跨站点主体身份链接方法，其特征在于，所述步骤24包括：
8.根据权利要求1所述的基于多模态和对抗学习的跨站点主体身份链接方法，其特征在于，所述步骤3包括：
9.一种基于多模态和对抗学习的跨站点主体身份链接系统，用于实现权利要求1-8任一项所述的基于多模态和对抗学习的跨站点主体身份链接方法，其特征在于，包括：
10.一种计算机设备，其特征在于，包括：处理器和用于存储所述处理器的可执行指令的存储器；其中，所述处理器用于执行所述可执行指令，以实现权利要求1-8中任一项所述的基于多模态和对抗学习的跨站点主体身份链接方法。
