本发明设计了一种基于深度学习的研究生教育数据异常检测方法,建立基于深度残差卷积神经网络的异常数据检测模型,利用迁徙学习算法校正异常数据检测模型参数,实现研究生教育培养过程异常数据实时准确检测。该发明属于研究生教育培养及数据挖掘领域。
背景技术:
1、随着信息技术的飞速发展,研究生教育培养过程中产生了大量的数据,这些数据不仅记录了学生的学习进度、成绩变化,还反映了教育资源的使用情况、教育过程的执行情况等。然而,由于各种因素的影响,这些数据中难免会出现异常数据,这些异常数据可能会对教育决策产生误导,影响教育质量的提升。因此,如何有效地检测和处理这些异常数据,成为研究生教育领域亟待解决的问题。
2、传统的异常数据检测方法大多基于统计学原理,如阈值法、距离法等,这些方法虽然简单易行,但往往难以应对复杂的、高维度的数据。此外,这些方法通常需要人工设定阈值或参数,主观性较强,且容易受到噪声数据的影响。由于机器学习方法具有强大的特征提取和分类能力,可以为教育数据进行实时异常检测,但在异常检测中,异常数据通常只占总体数据的一小部分,这种极端的数据不平衡性使得建模变得更具挑战性。机器学习模型在训练时可能难以充分学习到异常样本的特征,导致检测效果不佳。因此,寻找一种能够自动、准确地检测异常数据的方法,成为研究生教育数据处理的迫切需求,对提升异常数据的检测水平具有重要意义。
3、本发明设计了一种基于深度学习的研究生教育数据异常检测方法,该方法以深度残差卷积神经网络为载体建立检测模型,通过校正教育数据异常检测模型的参数,实现异常数据的实时准确检测,为教育者和管理者提供了有力的决策支持。
技术实现思路
1、本发明获得了一种基于深度学习的研究生教育数据异常检测方法,该方法建立深度残差卷积神经网络的研究生教育异常数据智能检测模型,利用知识迁徙学习算法校正检测模型的参数,保证研究生培养过程教育特征提取的准确性,提高异常数据的检测精度。
2、本发明采用了如下的技术方案及实现步骤:
3、1.一种基于深度学习的研究生教育数据异常检测方法,其特征在于,以实际采集到的研究生教育数据为研究对象,建立基于深度残差卷积神经网络的异常数据检测模型,利用迁徙学习算法校正异常数据检测模型参数,解决实际检测过程中深层特征难以提取的问题,实现异常数据准确检测,包括以下步骤:
4、(1)异常数据检测模型输入变量选取
5、以实际采集到的研究生教育数据为研究对象,选取学分、学习时长、研究成果和社会实践作为异常数据检测模型的输入变量;将各变量数据归一化处理:
6、
7、其中,xi,min为第i个变量的最小值,xi,max为第i个变量的最大值,i=1,2,3,4;x1(n)为第n个研究生的学分,x1(n)为归一化后的第n个研究生的学分,x2(n)为第n个研究生的学习时长,单位/年,x2(n)为归一化后的第n个研究生的学习时长,x3(n)为第n个研究生的研究成果,单位/个,x3(n)为归一化后的第n个研究生的研究成果,x4(n)为第n个研究生的社会实践,单位/次,x4(n)为归一化后的第n个研究生的社会实践,x5(n)为第n个研究生的整体教育数据评分,单位/分,为归一化后的第n个研究生的整体教育数据评分,n=1,2,...,n,n为训练样本总数;
8、(2)异常数据检测模型建立
9、深度残差卷积神经网络异常数据检测模型由输入层、残差层、激活层、池化层、全连接层和分类输出层构成;具体建立如下:
10、检测模型输入层输出为x(n)=[x1(n),…,x4(n)]t,t为转置;
11、检测模型残差层输出可以表示为:
12、rjl(n)=yjl(n)+xjl-1(n) (2)
13、其中,该残差层由l个卷积层和l个残差连接组成,l=1,2,…,l;是第n个研究生数据进入第l-1个残差层操作中第j个卷积核的输入,j=1,2,…,j;为经过第l-1个残差层中第j个卷积核的输出,为经过第l个残差连接后的残差层输出,表示为:
14、
15、其中,和分别表示第l-1层中第j个卷积核内核的权重参数和偏置参数,的初始值从均值为0,标准差为σ的正态分布中随机采样,σ=(2/j)0.5;的初始值设置为0;
16、检测模型激活层输出为:
17、ajl(n)=max{0,rjl(n)} (4)
18、其中,为残差层输出的激活值;
19、检测模型池化层输出为:
20、
21、其中,为池化层感知区域的宽度,t在区间中取值,为池化操作的第l层的神经元对应值;
22、检测模型全连接层输出为:
23、
24、其中,为第n个研究生数据在第l层第j个神经元输出值,该层的输出表示为为第l-1层第j个神经元与第l层第j个神经元之间的连接权值,为第l-1层所有神经元对第l层第j个神经元的偏置;的初始值同样从均值为0,标准差为σ的正态分布中随机采样,σ=(2/j)0.5;的初始值设置为0;
25、检测模型输出层输出为:
26、
27、其中,p(y(n)=c|x(n))表示第n个研究生数据样本x(n)对应的输出值y(n)属于第c个类别的概率值,xc(n)为输入研究生数据样本x(n)对应类别c的得分或预测值,c为输出层的神经元个数,c=1,2,…c;
28、(3)异常数据检测模型参数校正
29、①获取迁徙知识:利用历史数据构建用于获取迁徙知识的智能检测源模型,对t组研究生教育历史采集数据进行特性分析,选取学分为智能检测源模型的输入向量x1s=[x1s(1),…,x1s(t),…,x1s(t)]、学习时长为输入向量x2s=[x2s(1),…,x2s(t),…,x2s(t)]、研究成果为输入向量x3s=[x3s(1),…,x3s(t),…,x3s(t)]、社会实践为输入向量x4s=[x4s(1),…,x4s(t),…,x4s(t)],其中,s表示智能检测源模型,x1s(t)为历史采集数据归一化后的第t个研究生的学分,x2s(t)为历史采集数据归一化后的第t个研究生的学习时长,x3s(t)为历史采集数据归一化后的第t个研究生的研究成果,x4s(t)为历史采集数据归一化后的第t个研究生的社会实践,整体教育数据评分为智能检测源模型的输出向量y=[x5s(1),…,x5s(t),…,x5s(t)],则第t个历史研究生的整体教育评分为ys(t)=x5s(t),t=1,2,…,t;
30、其网络的结构与异常检测模型相同,则智能检测源模型的输出为:
31、
32、其中,p(ys(t)=c|xs(t))表示第t个历史研究生数据样本xs(t)对应的输出值ys(t)属于第c个类别的概率值,xs_c(t)为输入研究生数据样本xs(t)对应类别c的得分或预测值,c为输出层的神经元个数,c=1,2,…c;那么,为智能检测源模型的交叉熵损失函数值,计算如下:
33、
34、其中,p(xs(t))表示源样本xs(t)的分类的真实期望概率;q(xs(t))表示观测到的源样本xs(t)实际分类结果的概率;
35、利用梯度下降算法训练智能检测源模型,得到训练完备的智能检测源模型,从完备的智能检测源模型中提取迁徙知识,迁徙知识可以表示为:
36、κs(t)=[vs(t),ds(t),ws(t),bs(t)]t (10)
37、其中,κs(t)为第t个历史研究生教育数据输入时从智能检测源模型提取的初始迁徙知识,vs(t)和ds(t)分别为第t个历史研究生教育数据在智能检测源模型训练得到的卷积层中神经元的连接权值参数向量和偏置参数向量,ws(t)和bs(t)分别为第t个历史研究生教育数据在智能检测源模型训练得到的全连接层中神经元的连接权值参数向量和偏置参数向量;
38、②调整迁徙知识:基于公式(1)-(7),设计用于调整深度残差神经网络异常数据检测模型参数的目标函数为:
39、
40、其中,λ1和λ2为平衡参数,在(0,1]之间随机取值;xs和x分别表示存在分布差异的源域和目标域检测数据;m1和m2分别表示xs和x在网络模型的第l-1个残差层和池化层的最大均值差异,计算如下:
41、
42、其中,xl-1,l1和yl-1,l2分别为智能检测源模型和智能检测模型经过第l-1个残差层的数据输出值,pl1和pl2分别为智能检测源模型和智能检测模型经过全局平均池化层后的数据输出值,为核函数,用于将每个实例特征映射到希尔伯特空间,a1和a2分别为智能检测源模型和智能检测模型输出值的样本大小;为第n个研究生数据样本在异常数据检测模型训练得到的交叉熵损失函数值,表示为:
43、
44、其中,p(x(n))表示样本x(n)的分类的真实概率;q(x(n))表示观测到的样本x(n)实际分类结果的概率;
45、因此,基于更新的模型检测损失lt(n)和智能检测源模型的网络结构,重新训练网络以获得最优的过程参数知识,重构后的源知识可表示为:
46、
47、其中,为第t个研究生教育数据在智能检测源模型训练得到的重构迁徙知识,和分别为第t个研究生教育数据在智能检测源模型调整得到的卷积层中神经元的更新连接权值参数和偏置参数,和分别为第t个研究生教育数据在智能检测源模型调整得到的全连接层中神经元的更新连接权值参数和偏置参数;
48、③利用调整后的迁徙知识:基于最终调整后的迁徙知识和公式(1)-(6)表示的智能检测模型,则智能检测模型的实际状态输出可表示为:
49、
50、其中,迁徙后的目标初始知识n=1,…,n,第n个研究生教育数据的输入向量为xt(n),模型真实输出为期望输出为(n)为检测模型的输出误差;
51、若时刻n<n,n增加1,转向步骤②;若时刻n≥n,循环结束;
52、(4)研究生教育异常数据智能检测
53、利用训练好的异常数据智能检测源模型中的知识调整异常数据智能检测模型中的参数,在线采集第n个研究生的学分x1(n)、学习时长x2(n)、研究成果x3(n)和社会实践x4(n),根据公式(1)-(7)经过输入层、残差层、激活层、池化层、全连接层和分类输出层,建立异常数据智能检测模型,然后利用智能检测源模型根据公式(8)-(15)调整得到迁徙知识最后根据公式(16)得到最终模型的研究生数据检测分类值。
54、本发明的创造性主要体现在:
55、(1)本发明针对研究生培养过程异常教育数据难以准确检测的问题,提出了基于深度学习的研究生教育数据异常检测方法,实现异常数据准确检测;
56、本发明针对研究生教育培养异常数据实际检测过程中深层特征难以提取的问题,提出了基于深度残差卷积神经网络的异常数据检测模型,利用迁徙学习算法校正异常数据检测模型参数,增加了检测的有效性。
1.一种基于深度学习的研究生教育数据异常检测方法,其特征在于包括以下步骤:
