本技术涉及数字金融，具体涉及一种基于大数据的金融数据管理方法、系统、设备及存储介质。
背景技术：
1、随着信息技术的飞速发展，金融行业正在经历数字化转型，积累了大量客户的交易记录、账户信息等海量金融数据资产。如何高效管理和分析这些金融大数据，对潜在风险进行及时准确的评估和预警，成为金融机构当前面临的重大挑战。
2、现有技术通常采用的处理方式是：首先从各种渠道收集客户金融数据，然后对原始数据进行清洗、标准化等预处理，接着使用统计建模或机器学习算法对预处理后的数据进行分析，最终基于分析结果评估潜在金融风险。
3、但现有技术在金融风险评估的准确性方面存在较大不足。
技术实现思路
1、本技术提供一种基于大数据的金融数据管理方法、系统、设备及存储介质，用以提高金融风险评估的准确性。
2、第一方面，本技术提供了一种基于大数据的金融数据管理方法，方法包括：
3、获取用户账号数据，并根据所述用户账户数据构建用户数据表；
4、基于所述用户数据表收集用户的金融数据；
5、对所述金融数据进行加密处理，得到加密后的金融数据；
6、对所述加密后的金融数据进行清洗转换处理，得到标准格式的标准金融数据；
7、对所述标准金融数据进行数据趋势变化检测，得到数据趋势检测结果，并基于所述数据趋势检测结果使用转换函数对所述标准金融数据进行非线性转换得到目标金融数据；
8、基于所述目标金融数据对金融风险进行评估，得到风险评估结果。
9、通过采用上述技术方案，首先根据用户账号数据构建用户数据表，可以有效管理和维护用户信息。基于构建的用户数据表，系统能够高效收集用户的金融数据，为后续的数据处理和分析奠定数据基础。然后，对收集的金融数据进行加密处理，可以确保数据在传输和存储过程中的安全性，保护用户隐私，防止数据泄露风险。加密后的金融数据经过清洗转换处理，能够去除原始数据中的噪声和异常值，标准化后的标准金融数据更加规范和可靠。
10、在此基础上，系统对标准金融数据进行数据趋势变化分析，能够及时发现数据中的异常波动和风险迹象。通过使用转换函数对标准金融数据进行非线性转换，可以有效挖掘隐藏在数据中的非线性风险特征和复杂模式，使得后续的风险评估更加准确全面。最终，系统基于转换后的目标金融数据进行金融风险评估，得到风险评估结果。由于前期数据处理环节的优化，特别是引入了非线性风险特征挖掘的创新技术，所以风险评估结果的准确性和可靠性都将大幅提高，金融机构能够更好地预判风险，及时采取应对措施，从而提升整体的风险管理能力。
11、可选的，所述对所述加密后的金融数据进行清洗转换处理，得到标准格式的标准金融数据，包括：
12、检测所述加密后的金融数据是否存在缺失数据；
13、若存在缺失数据，则确定缺失数据的数量和缺失数据的分布情况；
14、若所述缺失数据的数量小于预设的数量阈值，则删除缺失的数据，得到所述加密后的金融数据对应的目标数据源；
15、若所述缺失数据的数量大于预设的数量阈值，且所述缺失数据的分布情况符合预设的数据分布情况时，采用最大似然估计法，预测所述缺失数据，得到所述缺失数据的预测值；
16、若所述缺失数据的数量大于预设的数量阈值，且所述缺失数据的分布情况不符合预设的数据分布情况中的任意一项时，通过机器学习算法预测所述缺失数据对应的预测值；
17、基于所述预测值填充所述缺失数据，得到目标数据，并对所述目标数据进行标准数据转换，得到所述标准金融数据。
18、通过采用上述技术方案，金融数据由于来源复杂、种类繁多，在数据收集和传输过程中难免会存在缺失的情况。上述技术方案针对加密后的金融数据中可能存在的缺失数据，提出了一种精细化的缺失数据处理方法。
19、首先，系统会检测加密后的金融数据是否存在缺失数据，若存在缺失数据，则会进一步确定缺失数据的数量和缺失数据的分布情况。对于缺失数据的数量较少的情况，系统会直接删除缺失的数据，得到加密后的金融数据对应的目标数据源，这样能够快速处理掉异常值，保证数据的整体质量。而对于缺失数据数量较多的情况，系统会根据缺失数据的分布情况采取不同的处理策略。若缺失数据的分布情况符合某种已知的数据分布，如正态分布等，系统会采用最大似然估计法预测缺失数据，得到缺失数据的预测值。最大似然估计是一种常用的参数估计方法，通过构建似然函数并对未缺失数据进行计算，能够较为准确地估计出缺失值。
20、如果缺失数据的分布情况不明确，系统则会引入机器学习算法，利用未缺失数据以及相关联的其他数据特征，对预设的数据预测模型进行训练，基于训练后的模型预测缺失数据对应的值。机器学习算法能够自动捕捉数据间的复杂关系，对于分布情况未知的缺失数据，可以给出较为合理的预测结果。
21、最后，系统会基于预测得到的值填充缺失数据，得到完整的目标数据，并对目标数据进行标准数据转换，得到标准格式的标准金融数据，为后续的数据分析处理奠定基础。
22、可选的，所述采用最大似然估计法，预测所述缺失数据，得到所述缺失数据的预测值，包括：
23、根据所述缺失数据的分布情况，确定缺失数据的分布类型；
24、根据所述分布类型，确定数据分布模型；
25、根据所述数据分布模型和所述加密后的金融数据中的未缺失数据，定义似然函数；
26、根据所述似然函数和所述加密后的金融数据中的未缺失数据，确定所述缺失数据对应的预测值。
27、通过采用上述技术方案，当系统检测到加密后的金融数据中存在较多缺失数据，且缺失数据的分布情况符合某种已知分布类型时，则会采用最大似然估计法预测缺失数据的值。
28、首先，系统会根据缺失数据的分布情况，确定其分布类型，如正态分布、泊松分布、指数分布等。不同的分布类型反映了数据的不同统计特征，准确识别分布类型是进行后续估计的前提。
29、接下来，系统会根据确定的分布类型，选择对应的数据分布模型，如正态分布对应的正态分布模型、泊松分布对应的泊松分布模型等。数据分布模型能够用数学函数的形式刻画数据的概率分布规律。
30、然后，系统会基于选定的数据分布模型，并利用加密后的金融数据中的未缺失数据，构建似然函数。似然函数描述了在给定模型参数的条件下，观测数据实现的概率。通过最大化似然函数，可以得到模型参数的最大似然估计值。
31、最后，系统会根据构建的似然函数，结合加密后的金融数据中的未缺失数据，使用数值计算或优化算法等方法，确定能够最大化似然函数的模型参数估计值，并将这些参数代入数据分布模型，得到缺失数据对应的预测值。
32、可选的，所述通过机器学习算法预测所述缺失数据对应的预测值，包括：
33、获取未缺失数据相关联的关联数据；
34、使用所述加密后的金融数据中的未缺失数据和与未缺失数据相关联的关联数据对预设的数据预测模型进行训练；
35、基于训练后的数据预测模型，根据所述关联数据和所述未缺失数据，得到所述缺失数据对应的预测值。
36、通过采用上述技术手段，当加密后的金融数据中存在大量缺失数据，且缺失数据的分布情况不符合任何已知分布时，系统会引入机器学习算法对缺失数据进行预测。
37、机器学习算法具有自动从数据中学习规律并进行预测的能力。该方案首先会获取与未缺失数据相关联的关联数据，关联数据可以是用户的其他金融信息、个人信息等相关特征。缺失数据往往并非孤立存在，而是与其他相关数据特征存在一定关联关系。接下来，系统会使用加密后的金融数据中的未缺失数据及相关联的关联数据，对预设的数据预测模型进行训练。常用的数据预测模型包括回归模型、神经网络模型等，这些模型能够从训练数据中自动学习到特征与目标值之间的映射关系。通过训练，模型可以捕捉未缺失数据与关联数据之间的内在联系和规律。
38、最后，基于训练后的数据预测模型，并结合关联数据和未缺失数据作为输入，系统可以预测出缺失数据对应的值。机器学习模型能够自动挖掘数据间的深层次关联，利用所学习到的规律对缺失值进行预测，从而给出较为合理的缺失值估计。
39、可选的，所述对所述金融数据进行加密处理，得到加密后的金融数据，包括：
40、通过非对称加密算法对所述金融数据进行加密处理，得到所述加密后的金融数据。
41、通过采用上述技术方案，金融数据属于敏感信息，一旦泄露可能会给用户的财产安全和隐私权益带来严重威胁。为了确保金融数据在传输和存储过程中的安全性，该技术方案采用非对称加密算法对金融数据进行加密处理。
42、非对称加密算法是一种广泛应用的加密技术，它使用了一对相互匹配的加密密钥，分别称为公钥和私钥。公钥可以向外界公开，用于加密数据；而私钥则由数据的所有者自行保管，用于解密已加密的数据。加密和解密过程使用不同的密钥，从而确保了运算的不可逆性，即使知道加密算法和公钥，也无法从加密数据推导出原始数据。
43、在该技术方案中，系统会使用非对称加密算法的公钥，对收集的原始金融数据进行加密处理，生成加密后的金融数据。由于使用了强密钥的非对称加密，加密后的金融数据极其难以被破解，能够有效防止数据在传输和存储过程中遭到窃取和篡改，从而最大限度地保护了用户金融信息的隐私和安全。
44、可选的，所述基于所述目标金融数据对金融风险进行评估，得到风险评估结果，包括：
45、对所述目标金融数据进行特征提取，得到目标特征数据；
46、将所述目标特征数据输入预设的风险概率预测模型，得到风险概率预测结果；
47、将所述风险概率预测结果作为所述风险评估结果。
48、通过采用上述技术方案，经过前期的数据加密、清洗转换、非线性转换等环节的处理，系统已经得到高质量的目标金融数据。在此基础上，该技术方案采用机器学习方法对金融风险进行评估。
49、首先，系统会对目标金融数据进行特征提取，得到目标特征数据。特征提取是机器学习的重要环节，旨在从原始数据中提取出对预测目标(本例中即金融风险)具有重要影响的特征，同时降低数据维度，提高后续模型的计算效率。常用的特征提取方法包括主成分分析、特征选择等。经过特征提取，目标金融数据被转换为更加紧凑且信息丰富的目标特征数据。
50、接下来，系统会将提取的目标特征数据输入预设的风险概率预测模型。该风险概率预测模型是一种经过专门训练的机器学习模型，能够基于输入的特征数据预测相应的风险概率。常用的风险概率预测模型包括逻辑回归模型、决策树模型、神经网络模型等。模型在训练阶段已经学习到了特征与风险概率之间的映射关系。
51、最后，系统会将风险概率预测模型输出的风险概率预测结果，直接作为最终的风险评估结果。该风险概率值能够定量反映目标对象发生风险的可能性大小，为金融机构的后续决策提供依据。
52、在本技术的第二方面提供了一种基于大数据的金融数据管理方法系统，包括：
53、用户管理模块，用于获取用户账号数据，并根据所述用户账户数据构建用户数据表；
54、数据收集模块，用于基于所述用户数据表收集用户的金融数据；
55、数据加密模块，用于对所述金融数据进行加密处理，得到加密后的金融数据；
56、数据清洗转换模块，用于对所述加密后的金融数据进行清洗转换处理，得到标准格式的标准金融数据；
57、数据分析处理模块，用于对所述标准金融数据进行数据趋势变化检测，得到数据趋势检测结果，并基于所述数据趋势检测结果使用转换函数对所述标准金融数据进行非线性转换得到目标金融数据；
58、风险评估模块，用于基于所述目标金融数据对金融风险进行评估，得到风险评估结果。
59、在本技术的第三方面提供了一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。
60、在本技术的第四方面提供了一种电子设备，包括处理器、存储器、用户接口及网络接口，存储器用于存储指令，用户接口和网络接口用于给其他设备通信，处理器用于执行存储器中存储的指令，以使电子设备执行上述的方法。
61、综上，本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
62、1、本技术首先根据用户账号数据构建用户数据表，可以有效管理和维护用户信息。基于构建的用户数据表，系统能够高效收集用户的金融数据，为后续的数据处理和分析奠定数据基础。然后，对收集的金融数据进行加密处理，可以确保数据在传输和存储过程中的安全性，保护用户隐私，防止数据泄露风险。加密后的金融数据经过清洗转换处理，能够去除原始数据中的噪声和异常值，标准化后的标准金融数据更加规范和可靠。
63、在此基础上，系统对标准金融数据进行数据趋势变化分析，能够及时发现数据中的异常波动和风险迹象。通过使用转换函数对标准金融数据进行非线性转换，可以有效挖掘隐藏在数据中的非线性风险特征和复杂模式，使得后续的风险评估更加准确全面。最终，系统基于转换后的目标金融数据进行金融风险评估，得到风险评估结果。由于前期数据处理环节的优化，特别是引入了非线性风险特征挖掘的创新技术，所以风险评估结果的准确性和可靠性都将大幅提高，金融机构能够更好地预判风险，及时采取应对措施，从而提升整体的风险管理能力。
64、2、本技术当加密后的金融数据中存在大量缺失数据，且缺失数据的分布情况不符合任何已知分布时，系统会引入机器学习算法对缺失数据进行预测。
65、机器学习算法具有自动从数据中学习规律并进行预测的能力。该方案首先会获取与未缺失数据相关联的关联数据，关联数据可以是用户的其他金融信息、个人信息等相关特征。缺失数据往往并非孤立存在，而是与其他相关数据特征存在一定关联关系。接下来，系统会使用加密后的金融数据中的未缺失数据及相关联的关联数据，对预设的数据预测模型进行训练。常用的数据预测模型包括回归模型、神经网络模型等，这些模型能够从训练数据中自动学习到特征与目标值之间的映射关系。通过训练，模型可以捕捉未缺失数据与关联数据之间的内在联系和规律。
66、3、本技术金融数据属于敏感信息，一旦泄露可能会给用户的财产安全和隐私权益带来严重威胁。为了确保金融数据在传输和存储过程中的安全性，该技术方案采用非对称加密算法对金融数据进行加密处理。
67、非对称加密算法是一种广泛应用的加密技术，它使用了一对相互匹配的加密密钥，分别称为公钥和私钥。公钥可以向外界公开，用于加密数据；而私钥则由数据的所有者自行保管，用于解密已加密的数据。加密和解密过程使用不同的密钥，从而确保了运算的不可逆性，即使知道加密算法和公钥，也无法从加密数据推导出原始数据。
1.一种基于大数据的金融数据管理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述加密后的金融数据进行清洗转换处理，得到标准格式的标准金融数据，包括：
3.根据权利要求2所述的方法，其特征在于，所述采用最大似然估计法，预测所述缺失数据，得到所述缺失数据的预测值，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述似然函数和所述加密后的金融数据中的未缺失数据，确定所述缺失数据对应的预测值，包括：
5.根据权利要求2所述的方法，其特征在于，所述通过机器学习算法预测所述缺失数据对应的预测值，包括：
6.根据权利要求1所述的方法，其特征在于，所述对所述金融数据进行加密处理，得到加密后的金融数据，包括：
7.根据权利要求2所述的方法，其特征在于，所述基于所述目标金融数据对金融风险进行评估，得到风险评估结果，包括：
8.一种基于大数据的金融数据管理系统，其特征在于，所述系统包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适用于由处理器加载并执行如权利要求1~7任意一项所述的方法。
10.一种电子设备，其特征在于，包括处理器、存储器和收发器，所述存储器用于存储指令，所述收发器用于和其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述电子设备执行如权利要求1~7任意一项所述的方法。
