本发明涉及负载调整,尤其涉及一种基于负载均衡的多数据库处理方法。
背景技术:
1、目前,伴随着业务的快速发展,单一固定的数据库连接池的配置已很难满足业务发展的需要,伴随并发量的变化,数据库连接配置不得不进行调整,然而很多系统7*24小时不间断运行,每次修改mysql 的连接池配置都必须重启服务,每次停机都一定程度上影响业务系统的平稳运行,带来沉重的运维成本,这种模式相对笨重,难以灵活的跟随业务系统的节奏。
2、因此,本发明提出了一种基于负载均衡的多数据库处理方法。
技术实现思路
1、本发明提供一种基于负载均衡的多数据库处理方法,用以通过部署多个数据库服务器并且选择负载均衡技术,调整负载均衡策略和数据库连接池参数,以保持系统在高性能状态下运行。
2、一方面,本发明提供一种基于负载均衡的多数据库处理方法,包括:
3、步骤1:根据业务需求和数据访问特点将目标数据进行分类,并根据分类数据库,向每个分类数据匹配数据库服务器;
4、步骤2:根据所有数据库服务器的特点,选择负载均衡技术并确定配置规则,根据配置规则设置中央负载均衡器作为中间层连接所有数据库服务器;
5、步骤3:当中央负载均衡器接收到客户端请求后,根据分发策略将请求路由给中央负载均衡器所连接的不同数据库服务器;
6、步骤4:实时监控每个数据库服务器的执行性能指标,并根据监控数据调整负载均衡策略和数据库服务器的连接池参数。
7、另一方面,根据业务需求和数据访问特点将目标数据进行分类,包括:
8、向业务客户端发送查询请求,获取与所述查询请求匹配的业务需求数据;
9、根据业务需求数据的特点将目标数据进行第一分类;
10、按照数据访问特点对第一分类后的数据进行优先级划分,得到第二分类数据,其中,所述第二分类数据即为目标数据进行分类的结果。
11、另一方面,向每个分类数据匹配数据库服务器,包括:
12、确定每个第二分类数据与分类数据库中每个服务器的初始适配度;
13、
14、其中,1表示对应第二分类数据与相应服务器的初始适配度,( )表示调整函数,具体为对的调整,表示对应服务器与相应第二分类数据中第i个数据的关联度,是基于服务器-数据类别关联度映射表得到,表示对应第二分类数据中第i个数据的预设权重系数,表示均值函数,ln表示对数函数,表示向对应服务器设定的标准关联度,n表示对应第二分类数据中所有数据的总个数;
15、根据对应第二分类数据的优先级情况,且结合涉及到的每个初始适配度,计算得到对应第二分类数据与每个服务器的最终适配度;
16、
17、其中,表示对应的第二分类数据与相应服务器的最终适配度;表示所有优先级中的最高优先级;表示对应的第二分类数据的优先级;表示对的向下取整函数;min表示最小值符号;max表示最大值符号;
18、从每个第二分类数据下的所有最终适配度中筛选最高适配度对应的服务器作为对应第二分类数据的数据库服务器。
19、另一方面,根据所有数据库服务器的特点,选择负载均衡技术并确定配置规则的过程中,包括:
20、基于数据库服务器的特点和预设标准,从负载信息收集池中获取每个数据库服务器的负载信息,通过预先配置的动态负载均衡算法,获取每个数据库服务器下所有指标的第一权重系数;
21、其中,第一权重系数的具体计算方式如下:
22、
23、
24、其中,表示对相应数据库服务器下所有指标进行标准化后的指标集合中第j个标准化指标的指标信息度,ln( )表示对数函数,表示标准化指标集合中第j个标准化指标的标准值,表示标准化指标集合中第j个标准化指标的第一权重系数,表示相应数据库服务器共有m个指标,且m>2;表示所有中的最大值;表示基于所有的平均值。
25、另一方面,根据所有数据库服务器的特点,选择负载均衡技术并确定配置规则,包括:
26、基于数据库服务器的所有指标及第一权重系数,结合评估函数对所述数据库服务器的负载情况进行评估,得到所述数据库服务器的负载参数;
27、根据负载参数-负载均衡技术映射表匹配所述数据库服务器的负载均衡技术,根据负载均衡技术定制中央负载均衡器的配置规则;
28、结合配置规则和负载参数,动态调整数据库服务器指标的第一权重系数,得到第二权重系数;
29、基于第二权重系数和负载均衡技术确定配置规则,并设置中央负载均衡器作为中间层连接所有数据库服务器。
30、另一方面,所述分发策略是由第一策略和第二策略共同确定的;
31、所述第一策略包括:中央负载均衡器获得的数据库服务器的ip地址;
32、所述第二策略包括:中央负载均衡器获取数据库服务器的运载情况。
33、另一方面,实时监控每个数据库服务器的执行性能指标的过程中,包括:
34、将数据库性能监控工具配置到每个数据库服务器中,并按照所述数据库服务器的指标预设标准实时监控所述数据库服务器的执行性能指标下所产生的日志信息;
35、若对日志信息的分析结果中存在不与指标预设标准一致的信息,则锁定不一致的信息并基于报警规则进行预警。
36、另一方面,根据监控数据调整负载均衡策略和数据库服务器的连接池参数,包括:
37、当发出预警提醒时,定位出现异常的数据库服务器,并获取所定位的服务器的日志信息中的异常监测数据;
38、根据异常监测数据获取对应所定位的服务器的当前异常状态,且结合负载均衡技术,对所定位的服务器负载均衡策略进行调整;
39、同时,分析所定位的服务器的连接池资源在当前异常状态下的占用情况,得到第一负载占比;
40、监测对应连接池资源的当下占用情况得到第二负载占比;
41、当第二负载占比大于第一负载占比时,对相应连接池参数进行调整;
42、当负载均衡策略和连接池参数调整完成后,持续监控数据库服务器的运行情况。
43、本发明提供一种基于负载均衡的多数据库处理方法,用以通过部署多个数据库服务器并且选择负载均衡技术,调整负载均衡策略和数据库连接池参数,以保持系统在高性能状态下运行。
1.一种基于负载均衡的多数据库处理方法,其特征在于,包括:
2.根据权利要求1所述的一种基于负载均衡的多数据库处理方法,其特征在于,根据业务需求和数据访问特点将目标数据进行分类,包括:
3.根据权利要求1所述的一种基于负载均衡的多数据库处理方法,其特征在于,向每个分类数据匹配数据库服务器,包括:
4.根据权利要求1所述的一种基于负载均衡的多数据库处理方法,其特征在于,根据所有数据库服务器的特点,选择负载均衡技术并确定配置规则的过程中,包括:
5.根据权利要求4所述的一种基于负载均衡的多数据库处理方法,其特征在于,根据所有数据库服务器的特点,选择负载均衡技术并确定配置规则,包括:
6.根据权利要求1所述的一种基于负载均衡的多数据库处理方法,其特征在于,所述分发策略是由第一策略和第二策略共同确定的;
7.根据权利要求1所述的一种基于负载均衡的多数据库处理方法,其特征在于,实时监控每个数据库服务器的执行性能指标的过程中,包括:
8.根据权利要求7所述的一种基于负载均衡的多数据库处理方法,其特征在于,根据监控数据调整负载均衡策略和数据库服务器的连接池参数,包括:
