本发明涉及人工智能数据处理与决策优化，具体是一种基于大数据驱动的人工智能决策优化方法及系统。
背景技术：
1、随着物联网设备和互联网平台的快速发展，基于大数据驱动的预测模型越来越完善，根据限定条件和目标变量进行人工智能决策优化的方式越来越多。但现有的预测模型还存在部分不足，一是现有预测模型在处理数据时，往往难以将类别特征和连续特征同时作为自变量因素纳入模型，类别特征通常使用独热编码（one-hot encoding）或标签编码（label encoding）转换为数值形式，连续特征则直接使用原始数值，这种处理方式容易导致类别特征和连续特征难以在同一模型中协同工作，影响预测模型中各自变量因素的协同性能。二是在实际数据处理过程中，类别特征和连续特征之间可能存在关联性，这种关联性可能对模型的训练过程产生不利影响。针对上述问题，本发明提出了一种新的处理类别特征和连续特征的方法，将类别特征和连续特征共同转化为标准值，以便在同一个预测模型中同时使用它们从而提高预测模型的协同性能。同时在进行特征标准化时考虑特征之间的相互关联程度，进而提高预测模型的精准性。
技术实现思路
1、（1）要解决的技术问题
2、本发明的目的在于提供一种基于大数据驱动的人工智能决策优化方法及系统，以解决将类别特征和连续特征共同转化为标准值，以便在同一个预测模型中同时使用它们从而提高模型的预测能力。同时在进行特征标准化时考虑特征之间的相互关联程度，进而提高预测模型的准确度。
3、（2）技术方案
4、为实现上述目的，一方面，本发明提供了一种基于大数据驱动的人工智能决策优化方法，所述方法包括：
5、s1、获取样本数据集并将样本数据集分为训练集和验证集，所述样本数据集包括属性特征、属性取值和目标变量，其中属性特征包括类别特征和连续特征；
6、s2、按照预处理方法对数据进行处理，所述预处理方法包括移除样本数据集的上限阈值；计算类别特征的属性增益和关联度并按照预设转化方法转化为类别特征标准值，计算连续特征的标准缩放和关联度并按照预设转化方法转化为连续特征标准值；
7、s3、构建目标变量与类别特征标准值和连续特征标准值的预测模型，将训练集带入预测模型训练预测模型参数，将验证集带入预测模型优化预测模型参数；
8、s4、将属性特征分为确定特征和不确定特征，按照预设条件分类方法为不确定特征设定取值范围作为约束条件并将目标变量设定为固定目标；
9、s5、将所述约束条件和固定目标输入预测模型，根据拉格朗日乘数法计算不确定特征最优值；获取下一个预设周期的新的样本数据集并根据新的样本数据集优化预测模型参数，通过输入新的属性特征重新计算新的不确定特征最优值，实现人工智能决策优化。
10、进一步地，所述计算类别特征的属性增益和关联度并按照预设转化方法转化为类别特征标准值，计算连续特征的标准缩放和关联度并按照预设转化方法转化为连续特征标准值的方法包括：
11、计算类别特征的属性增益和关联度，计算连续特征的标准缩放和关联度；按照第一预设比例将类别特征转化为类别特征标准值，按照第二预设比例将连续特征转化为连续特征标准值；类别特征标准值的计算公式为：
12、；
13、其中为类别特征，为类别特征的属性增益，为类别特征的关联度，、分别为类别特征属性增益和类别特征关联度的权重系数，为类别特征标准值的调节参数；
14、连续特征标准值的计算公式为：
15、；
16、其中为连续特征，为连续特征的标准缩放，为连续特征的关联度，、分别为连续特征标准缩放和连续特征关联度的权重系数，为连续特征标准值的调节参数。
17、进一步地，所述计算类别特征的属性增益和关联度，计算连续特征的标准缩放和关联度；按照第一预设比例将类别特征转化为类别特征标准值，按照第二预设比例将连续特征转化为连续特征标准值的方法包括：
18、按照预设分类方法将目标变量划分为目标类别，获取样本数据集的总条目数和每个目标类别对应的条目数，样本数据集信息熵的计算公式为：
19、；
20、其中为样本数据集，为样本数据集信息熵，为第个目标类别，为目标类别的类别总数，为第个目标类别的概率；
21、分别统计类别特征对应的总条目数和该类别特征下目标类别不同取值个数，计算类别特征不同取值个数占类别特征对应的总条目数的概率，分别得到类别特征不同取值的条件熵，对类别特征不同取值的条件熵求和得到类别特征总的条件熵，类别特征总的条件熵的计算公式为：
22、；
23、其中为类别特征中第个类别特征，为类别特征的类别数量，为类别特征的第个取值类别，表示取值为第个取值类别时对应的条目数量，表示类别特征对应的总条目数量，表示第个取值类别等于时的概率；
24、将样本数据集信息熵减去类别特征总的条件熵得到类别特征属性增益，类别特征属性增益的计算公式为：
25、；
26、根据连续特征具有正态分布特性，计算连续特征的平均值和标准差，根据标准差标准化法反映数据偏离平均值程度的特性，将标准差标准化法求负数再加上一个预设常数得到连续特征标准缩放取值，标准缩放取值的计算公式为：
27、；
28、其中为连续特征的原始取值，为标准缩放取值，为连续特征的平均值，为连续特征的标准差，为预设常数。
29、进一步地，所述计算类别特征的属性增益和关联度，计算连续特征的标准缩放和关联度；按照第一预设比例将类别特征转化为类别特征标准值，按照第二预设比例将连续特征转化为连续特征标准值的方法包括：
30、将连续特征按照预设分类方法划分为阶段特征，计算阶段特征属性增益，以阶段特征属性增益和类别特征属性增益中的最大值作为基准特征，以其他阶段特征和类别特征作为参考特征，建立参考特征与基准特征之间的列联表并计算卡方值，卡方值的计算公式为：
31、；
32、其中分别表示为基准特征和参考特征，分别表示为基准特征和参考特征的取值个数，表示两种类别特征交叉下目标变量的观察值，表示两种类别特征交叉下的期望值，期望值的计算公式为：
33、；
34、其中为列联表中基准特征的类别数量，为列联表中参考特征的类别数量，为在基准特征取第个值的情况下所对应的行的总和，为在参考特征取第个值时所对应的列的总和，为列联表中基准特征和参考特征的目标变量的总和；
35、根据卡方值计算列联表相关系数，列联表相关系数的计算公式为：
36、；
37、分别将类别特征和连续特征带入列联表相关系数公式得到和。
38、进一步地，所述构建目标变量与类别特征标准值和连续特征标准值的预测模型的方法包括：
39、建立神经网络预测模型，根据类别特征和连续特征对目标变量的影响态势，对类别特征标准值选用relu函数作为激活函数，对连续特征选用sigmoid函数作为激活函数，目标函数的计算公式为：
40、；
41、其中、、为预设激活函数，为第个类别特征，为类别特征总数，为第个连续特征，为连续特征总数，、为目标函数不同隐藏层的偏置。
42、基于同一发明构思，另一方面，本发明还提供了一种基于大数据驱动的人工智能决策优化系统，所述系统包括数据收集模块、数据处理模块、预测模型模块、属性特征输入模块、决策输出模块；所述数据处理模块包括属性增益计算模块、关联度计算模块、标准缩放计算模块；所述数据收集模块与数据处理模块相连，数据处理模块与预测模型模块相连，预测模型模块与属性特征输入模块和决策输出模块相连；所述数据处理模块和属性增益计算模块、关联度计算模块、标准缩放计算模块相连；
43、数据收集模块，用于获取样本数据集并将样本数据集分为训练集和验证集，所述样本数据集包括属性特征、属性取值和目标变量，其中属性特征包括类别特征和连续特征；
44、数据处理模块，用于按照预处理方法对数据进行处理，所述预处理方法包括移除样本数据集的上限阈值；计算类别特征的属性增益和关联度并按照预设转化方法转化为类别特征标准值，计算连续特征的标准缩放和关联度并按照预设转化方法转化为连续特征标准值；
45、预测模型模块，用于构建目标变量与类别特征标准值和连续特征标准值的预测模型，将训练集带入预测模型训练预测模型参数，将验证集带入预测模型优化预测模型参数；
46、属性特征输入模块，用于将属性特征分为确定特征和不确定特征，按照预设条件分类方法为不确定特征设定取值范围作为约束条件并将目标变量设定为固定目标；
47、决策输出模块，用于将所述约束条件和固定目标输入预测模型，根据拉格朗日乘数法计算不确定特征最优值；获取下一个预设周期的新的样本数据集并根据新的样本数据集优化预测模型参数，通过输入新的属性特征重新计算新的不确定特征最优值，实现人工智能决策优化。
48、进一步地，所述数据处理模块的工作步骤包括：
49、计算类别特征的属性增益和关联度，计算连续特征的标准缩放和关联度；按照第一预设比例将类别特征转化为类别特征标准值，按照第二预设比例将连续特征转化为连续特征标准值；类别特征标准值的计算公式为：
50、；
51、其中为类别特征，为类别特征的属性增益，为类别特征的关联度，、分别为类别特征属性增益和类别特征关联度的权重系数，为类别特征标准值的调节参数；
52、连续特征标准值的计算公式为：
53、；
54、其中为连续特征，为连续特征的标准缩放，为连续特征的关联度，、分别为连续特征标准缩放和连续特征关联度的权重系数，为连续特征标准值的调节参数。
55、进一步地，所述属性增益计算模块、标准缩放计算模块的工作步骤包括：
56、按照预设分类方法将目标变量划分为目标类别，获取样本数据集的总条目数和每个目标类别对应的条目数，样本数据集信息熵的计算公式为：
57、；
58、其中为样本数据集，为样本数据集信息熵，为第个目标类别，为目标类别的类别总数，为第个目标类别的概率；
59、分别统计类别特征对应的总条目数和该类别特征下目标类别不同取值个数，计算类别特征不同取值个数占类别特征对应的总条目数的概率，分别得到类别特征不同取值的条件熵，对类别特征不同取值的条件熵求和得到类别特征总的条件熵，类别特征总的条件熵的计算公式为：
60、；
61、其中为类别特征中第个类别特征，为类别特征的类别数量，为类别特征的第个取值类别，表示取值为第个取值类别时对应的条目数量，表示类别特征对应的总条目数量，表示第个取值类别等于时的概率；
62、将样本数据集信息熵减去类别特征总的条件熵得到类别特征属性增益，类别特征属性增益的计算公式为：
63、；
64、根据连续特征具有正态分布特性，计算连续特征的平均值和标准差，根据标准差标准化法反映数据偏离平均值程度的特性，将标准差标准化法求负数再加上一个预设常数得到连续特征标准缩放取值，标准缩放取值的计算公式为：
65、；
66、其中为连续特征的原始取值，为标准缩放取值，为连续特征的平均值，为连续特征的标准差，为预设常数。
67、进一步地，所述关联度计算模块的工作步骤包括：
68、将连续特征按照预设分类方法划分为阶段特征，计算阶段特征属性增益，以阶段特征属性增益和类别特征属性增益中的最大值作为基准特征，以其他阶段特征和类别特征作为参考特征，建立参考特征与基准特征之间的列联表并计算卡方值，卡方值的计算公式为：
69、；
70、其中分别表示为基准特征和参考特征，分别表示为基准特征和参考特征的取值个数，表示两种类别特征交叉下目标变量的观察值，表示两种类别特征交叉下的期望值，期望值的计算公式为：
71、；
72、其中为列联表中基准特征的类别数量，为列联表中参考特征的类别数量，为在基准特征取第个值的情况下所对应的行的总和，为在参考特征取第个值时所对应的列的总和，为列联表中基准特征和参考特征的目标变量的总和；
73、根据卡方值计算列联表相关系数，列联表相关系数的计算公式为：
74、；
75、分别将类别特征和连续特征带入列联表相关系数公式得到和。
76、进一步地，所述预测模型模块的工作步骤包括：
77、建立神经网络预测模型，根据类别特征和连续特征对目标变量的影响态势，对类别特征标准值选用relu函数作为激活函数，对连续特征选用sigmoid函数作为激活函数，目标函数的计算公式为：
78、；
79、其中、、为预设激活函数，为第个类别特征，为类别特征总数，为第个连续特征，为连续特征总数，、为目标函数不同隐藏层的偏置。
80、（3）有益效果
81、与现有技术相比，本发明的有益效果是：
82、1. 将类别特征和连续特征同时转化为标准值，以便在同一个预测模型中同时使用它们，提高模型的预测能力。
83、2. 在进行特征标准化时，考虑特征之间的相互关联度，在训练预测模型时剥离特征关联度，从而提高预测模型的准确度。
1.一种基于大数据驱动的人工智能决策优化方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于大数据驱动的人工智能决策优化方法，其特征在于，所述计算类别特征的属性增益和关联度并按照预设转化方法转化为类别特征标准值，计算连续特征的标准缩放和关联度并按照预设转化方法转化为连续特征标准值的方法包括：
3.根据权利要求2所述的一种基于大数据驱动的人工智能决策优化方法，其特征在于，所述计算类别特征的属性增益和关联度，计算连续特征的标准缩放和关联度；按照第一预设比例将类别特征转化为类别特征标准值，按照第二预设比例将连续特征转化为连续特征标准值的方法包括：
4.根据权利要求2所述的一种基于大数据驱动的人工智能决策优化方法，其特征在于，所述计算类别特征的属性增益和关联度，计算连续特征的标准缩放和关联度；按照第一预设比例将类别特征转化为类别特征标准值，按照第二预设比例将连续特征转化为连续特征标准值的方法包括：
5.根据权利要求1所述的一种基于大数据驱动的人工智能决策优化方法，其特征在于，所述构建目标变量与类别特征标准值和连续特征标准值的预测模型的方法包括：
6.一种基于大数据驱动的人工智能决策优化系统，其特征在于，所述系统包括数据收集模块、数据处理模块、预测模型模块、属性特征输入模块、决策输出模块；所述数据处理模块包括属性增益计算模块、关联度计算模块、标准缩放计算模块；所述数据收集模块与数据处理模块相连，数据处理模块与预测模型模块相连，预测模型模块与属性特征输入模块和决策输出模块相连；所述数据处理模块和属性增益计算模块、关联度计算模块、标准缩放计算模块相连；
7.根据权利要求6所述的一种基于大数据驱动的人工智能决策优化系统，其特征在于，所述数据处理模块的工作步骤包括：
8.根据权利要求7所述的一种基于大数据驱动的人工智能决策优化系统，其特征在于，所述属性增益计算模块、标准缩放计算模块的工作步骤包括：
9.根据权利要求7所述的一种基于大数据驱动的人工智能决策优化系统，其特征在于，所述关联度计算模块的工作步骤包括：
10.根据权利要求6所述的一种基于大数据驱动的人工智能决策优化系统，其特征在于，所述预测模型模块的工作步骤包括：
