本发明涉及数据服务云平台，具体为一种基于互联网的数据服务云平台综合管理系统。
背景技术：
1、数据服务云平台是一种针对业务数据的互联网基础服务，它在数据仓库、计算引擎以及标准化数据之间提供桥梁。该云平台通过帮助企业实现数据共享、数据集成和数据服务，解决了数据无法共享、数据难以使用、数据难以访问等问题。数据服务云平台把大型企业的各种数据存储应用和分析服务整合到一个统一的环境中，能够为企业提供可用的、可信的、动态更新的数据服务机制，以及数据管理、业务流程集成等服务支持。数据服务云平台的功能包括高效分布式处理、实时处理、实时流式核算等。然而，数据服务云平台在为企业提供全面数据服务的同时，也存在一些不足之处，例如在某些情况下，例如日志留存和流量清单等存储密集型的业务，cpu使用率长期低于理想水平。同时，计算类业务虽然cpu消耗高，但存储资源利用率却很低。这表明平台在资源分配和使用方面可能存在不合理之处，导致大量资源闲置；同时，随着数据量的增加和数据类型的多样化，数据服务平台在数据安全性和隐私保护方面面临更大的的挑战，数据服务云平台综合管理需要确保云平台的高效、安全和稳定运行，同时满足用户的数据服务需求。因此，有必要设计一种基于互联网的数据服务云平台综合管理系统以解决上述技术问题。
技术实现思路
1、本发明的目的在于提供一种基于互联网的数据服务云平台综合管理系统，以解决上述背景技术提到的问题。
2、本发明的目的可以通过以下技术方案实现：
3、一种基于互联网的数据服务云平台综合管理系统，包括：数据清洗分类模块、负载均衡模块、缓存服务器、服务器组、镜像备份模块、灾备模块和可视化运维模块。
4、进一步的，数据清洗分类模块用于对输入云平台的数据流进行清洗和分类，在清洗开始前，对原始数据进行备份，然后将数据流分割成无数个子数据流，读取各个子数据流中的文档和注释，判断子数据流的信息类型和数据类型。
5、信息类型包括文本信息、图像信息、视频和音频信息、用户数据、结构化数据、实时数据流、地理位置数据、应用程序数据等，每种信息类型对应一个预设的信息类型因子a。
6、数据类型包括整数型、浮点型、列表、数组、哈希表等，每种数据类型对应一个预设的数据类型因子b。
7、通过公式δ＝ea+b得到各子数据流的缓存因子，当δ大于等于预设的缓存因子阈值时，将该子数据流输出给缓存服务器；当δ小于预设的缓存因子阈值时，将该子数据流输出给均衡负载模块。
8、进一步的，均衡负载模块通过平滑加权轮询算法将子数据流分配给服务器组中的各个服务器，结合分析服务器的负载情况分配子数据流，避免单个服务器负载过大导致的宕机，同时通过算法模拟子数据流涌入后对单个服务器负载的不利影响，对权重进行动态调整。既实现了数据流优先分配给负载情况较好的服务器，又防止巨量数据流不断涌入负载情况较好的服务器，保证整个服务器组作为一个整体通过合理的任务分配实现高效率协作；同时也减少了各个服务器的自我负载检测次数，减少了不必要的算力浪费，具体过程是：
9、第一步，均衡负载模块每隔预设时间向所有服务器发送一个心跳包信号，服务器i接收到心跳包信号后读取cpu占用率αi和磁盘读取速率βi，其中i是服务器的编号，i＝1,2，...，n；n＝服务器总数。通过公式得到负载权重将发送给负载均衡模块；
10、第二步，负载均衡模块统计所有将第一个子数据流data1发送给最大的服务器，当最大来源于多个服务器时，将data1发送给其中i最小的服务器，将接收到data1的服务器的标记为
11、第三步，调整所有εi，调整过程为：首先，处理标记的令解除标记，将还原为εi；然后，处理其他未标记的εi，令
12、第四步，负载均衡模块统计所有εi，将第二个子数据流data2发送给εi最大的服务器，当最大εi来源于多个服务器时，将data2发送给其中i最小的服务器，将接收到data2的服务器的标记为返回第三步。
13、例如，当服务器组中有三个服务器a、b和c，对应的负载权重εa＝5,εb＝1,εc＝1,判断最大的εi为εa＝5，将data1发送给服务器a，随后调整εa＝5-(5+1+1)+5＝3，εb＝+1+1＝2，εc＝1+1＝2，判断最大的εi为εa＝3，将data2发送给服务器a；同理，调整后εa＝1,εb＝3,εc＝3，以此类推。最终数据流1、2、3、4、5的分配服务器是a、a、b、a、c。
14、进一步的，缓存服务器用于储存受访问次数较多的数据流，使用读写速度更快的磁盘，满足服务器发来的大量数据调取操作，在接收到数据流后，缓存服务器每隔预设时间记录cpu占用率α’p、磁盘读取速率β’p和内存占用率γ’p，其中p为时间编号，p＝1,2,...，q；q为时间编号周期，当p＝q时，令下一个p＝1，开始下一个记录周期。将p、α’p、β’p和γ’p发送给可视化运维模块。
15、进一步的，服务器组中的各个服务器通过负载均衡模块的任务分配共同负担数据处理任务，在接收到子数据流后，缓存服务器每隔预设时间记录cpu占用率αp、磁盘读取速率βp和内存占用率γp，其中p为时间编号，p＝1,2,...，q；q为时间编号周期，当p＝q时，令下一个p＝1，开始下一个记录周期。将p、αp、βp和γp发送给可视化运维模块。
16、进一步的，可视化运维模块通过记录p、αp、βp、γp、α’p、β’p和γ’p，并进行数据可视化处理，分析服务器组和缓存服务器的运转情况，将分析结果反馈给运营维护人员，通过公式η＝χ1×αp+χ2×βp+χ3×γp得到服务器的运转参数η，其中χ1、χ2和χ3是预设的权重因子；通过公式η’＝χ4×α’p+χ5×βp’+χ6×γ’p得到缓存服务器的运转参数η’，其中χ4、χ5和χ6是预设的权重因子。
17、以时间编号p为横坐标，η为纵坐标建立二维直角坐标系，将所有点(p，η)填入坐标系得到服务器的运转参数随时间编号变化的二维离散型随机变量分布图，用一个光滑的曲线连接所有点，然后用一个初等函数图像对光滑曲线进行拟合，得到η随p变化的变化函数图像，利用快速傅里叶变换将图像从时域转变为频域，得到服务器运转参数谱图，与标准服务器运转参数谱图进行重合比对，服务器运转参数谱图中的波峰点记为波谷点记为u为波峰点的个数，u＝1,2,3，...，v；v为波峰点总数；o为波谷点的个数，o＝1,2,3，...，s；s为波谷点总数，标准服务器运转参数谱图中的波峰点记为波谷点记为u为波峰点的编号，u＝1,2,3，...，v；v为波峰点总数；o为波谷点的编号，o＝1,2,3，...，s；s为波谷点总数。通过公式得到服务器组异常度参数ψ。
18、以时间编号p为横坐标，η’为纵坐标建立二维直角坐标系，将所有点(p，η’)填入坐标系得到缓存服务器的运转参数随时间编号变化的二维离散型随机变量分布图，用一个光滑的曲线连接所有点，然后用一个初等函数图像对光滑曲线进行拟合，得到η’随p变化的变化函数图像，利用快速傅里叶变换将图像从时域转变为频域，得到缓存服务器运转参数谱图，与标准缓存服务器运转参数谱图进行重合比对，缓存服务器运转参数谱图中的波峰点记为pea’u(ω’upeak，η’upeak)，波谷点记为trough’o(ω’otrough，η’otrough)，u为波峰点的个数，u＝1,2,3，...，v；v为波峰点总数；o为波谷点的个数，o＝1,2,3，...，s；s为波谷点总数，标准缓存服务器运转参数谱图中的波峰点记为波谷点记为u为波峰点的编号，u＝1,2,3，...，v；v为波峰点总数；o为波谷点的编号，o＝1,2,3，...，s；s为波谷点总数，通过公式得到缓存服务器异常度参数ψ’。
19、通过公式τ＝k1×ψ+k2×ψ’得到综合异常参数τ，综合异常参数τ反映了服务器组和缓存服务器的运转情况，当τ高于预设的综合异常参数阈值，说明服务器组整体运转负载过大，将会向运维人员提供几个参考处理方法，处理方法一：增加服务器组中的服务器数量；处理方法二；优化均衡负载模块的算法；处理方法三：更新服务器中的硬件设备。
20、服务器组接收到来自本数据服务云平台的灾害信号时，立刻停止所有服务器中的运算，迅速将数据压缩发送给镜像备份模块。
21、进一步的，镜像备份模块在日常运营中负责定期存储其他数据服务云平台中的部分数据，多个镜像备份模块作为一个整体完整保存了所有其他平台的所有数据。单个镜像备份模块定期对其他数据服务云平台中的服务器组中的部分数据进行镜像复制，每隔预设时间将复制的数据格式化，并重新访问其他数据服务云平台，再次对各个服务器中的数据进行镜像复制。当镜像备份模块接收到灾害信号时，立即复制灾害信号来源的数据服务云平台的服务器组的数据，并将服务器组中的运转参数η小于运转参数阈值的服务器纳入镜像备份模块。
22、进一步的，灾备模块负责在断电、火灾、洪水和其他自然灾害和时向镜像备份模块发送灾害信号。灾备模块包含断电传感器、烟雾传感器和地震传感器，当断电传感器或烟雾传感器或地震传感器获取的数据超过阈值时，向服务器组合所有其他数据服务云平台的镜像备份模块发送灾害信号，并通过显示屏向运维管理人员发出预警信息。
23、本发明的有益效果：
24、(1)根据数据类型将庞大数据流进行分流，对不同类型的数据进行针对性处理，并利用平滑加权轮询算法对数据进行二次分流，发送给不同的服务器，避免了cpu占用率过高和资源闲置的问题，优化了云平台的资源利用效率，保证了数据服务云平台综合管理的高效性和稳定性；
25、(2)通过镜像备份模块和灾备模块对服务器中的信息进行备份，在发生不利灾害时及时作出反应，将服务器组中的数据进行高效备份，保证了数据的可恢复性，提高了数据服务云平台综合管理的数据安全性；
26、(3)将服务器的负载情况进行可视化和数据融合，方便优化实时数据服务能力，保证了数据服务云平台综合管理系统构建集可视化、多服务、全景运营为一体的接口业务能力。
1.一种基于互联网的数据服务云平台综合管理系统，包括负载均衡模块、镜像备份模块和可视化运维模块，其特征在于：
2.根据权利要求1所述的一种基于互联网的数据服务云平台综合管理系统，其特征在于：还包括数据清洗分类模块、缓存服务器、服务器组和灾备模块；
3.根据权利要求1所述的一种基于互联网的数据服务云平台综合管理系统，其特征在于，均衡负载模块通过平滑加权轮询算法将子数据流分配给服务器组中的各个服务器，其具体方法为：
4.根据权利要求1所述的一种基于互联网的数据服务云平台综合管理系统，其特征在于，镜像备份模块的数据备份方法，具体为：
5.根据权利要求1所述的一种基于互联网的数据服务云平台综合管理系统，其特征在于，可视化运维模块将服务器运转状态进行数据可视化处理，具体为：
6.根据权利要求2所述的一种基于互联网的数据服务云平台综合管理系统，其特征在于，对输入云平台的数据流进行清洗和分类，具体为：
7.根据权利要求2所述的一种基于互联网的数据服务云平台综合管理系统，其特征在于，缓存服务器和服务器组处理数据流并记录负载数据，具体为：
8.根据权利要求2所述的一种基于互联网的数据服务云平台综合管理系统，其特征在于，在发生突发情况威胁到数据安全时进行数据转移，具体为：
