所属的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。下面参照图8来描述根据本公开的这种实施方式的电子设备800。图8显示的电子设备800仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。如图8所示,电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于:至少一个处理器810、至少一个存储器820、连接不同系统组件(包括存储器820和处理器810)的总线830、显示器840。其中,所述存储器存储有程序代码,所述程序代码可以被所述处理器810执行,使得所述处理器810执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如,所述处理器810可以执行如图2中所示的:步骤s210,监测网卡与主机节点之间针对资源信息的信息交换活跃度;所述网卡配置于所述主机节点上,所述网卡用于提供通信资源,所述通信资源关联所述资源信息;所述主机节点和所述网卡联合存储所述资源信息;步骤s220,在所述信息交换活跃度超出活跃度阈值时,获取所述网卡待调度的通信资源集合;步骤s230,响应于所述通信资源集合所关联的待调度资源信息存储于所述主机节点中,将所述待调度资源信息从所述主机节点整体置换至所述网卡中。存储器820可以包括易失性存储形式的可读介质,例如随机存取存储器(ram)8201和/或高速缓存存储器8202,还可以进一步包括只读存储器(rom)8203。存储器820还可以包括具有一组(至少一个)程序模块8205的程序/实用工具8204,这样的程序模块8205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。总线830可以为表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。电子设备800也可以与一个或多个外部设备900(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备800交互的设备通信,和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口850进行。并且,电子设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(lan),广域网(wan)和/或公共网络,例如因特网)通信。如图所示,网络适配器860通过总线830与电子设备800的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备800使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
背景技术:
1、随着云计算和aigc(artificial intelligence generated content,人工智能生成内容)应用的快速发展,数据中心对网络带宽、低延迟和高效率的需求越来越高。rdma(remote direct memory access,远程直接内存访问)作为一种高性能网络技术,逐渐被广泛应用于数据中心网络中。
2、然而,在数据中心大规模分布式组网架构下,不同节点间选择rdma作为通信模式时,实际rdma网卡硬件中的资源有限,大规模的qp(queue pair,队列对)创建和维护,使得网卡切换qp时需要频繁与主机节点的内存进行io通信,消耗了网卡的处理性能。
3、鉴于此,本领域亟需开发一种新的资源管理方法及装置。
4、需要说明的是,上述背景技术部分公开的信息仅用于加强对本公开的背景的理解。
技术实现思路
1、本公开的目的在于提供一种资源管理方法、资源管理装置、计算机可读存储介质及电子设备,进而至少在一定程度上克服由于相关技术中网卡频繁与主机节点进行io通信所导致的网卡性能消耗的技术问题。
2、本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
3、根据本公开的第一方面,提供一种资源管理方法,包括:
4、监测网卡与主机节点之间针对资源信息的信息交换活跃度;所述网卡配置于所述主机节点上,所述网卡用于提供通信资源,所述通信资源关联所述资源信息;所述主机节点和所述网卡联合存储所述资源信息;
5、在所述信息交换活跃度超出活跃度阈值时,获取所述网卡待调度的通信资源集合;
6、响应于所述通信资源集合所关联的待调度资源信息存储于所述主机节点中,将所述待调度资源信息从所述主机节点整体置换至所述网卡中。
7、在本公开的示例性实施例中,所述在所述信息交换活跃度超出活跃度阈值时,获取所述网卡待调度的通信资源集合,包括:
8、在所述信息交换活跃度超出活跃度阈值时,对所述通信资源所关联的资源信息进行整合分析,以获得所述网卡针对所述通信资源的调度规律;所述调度规律用于描述所述网卡关联的多种业务类型的轮询顺序,以及,每种所述业务类型与其需要调用的通信资源集合之间的映射关系;
9、根据所述调度规律,确定所述网卡待调度的通信资源集合。
10、在本公开的示例性实施例中,所述将所述待调度资源信息从所述主机节点整体置换至所述网卡中,包括:
11、从所述主机节点中获取所述待调度资源信息;
12、利用所述待调度资源信息对所述网卡中的目标资源信息进行整体置换;
13、所述目标资源信息包括低频调度资源所关联的资源信息。
14、在本公开的示例性实施例中,所述方法还包括:
15、监测所述主机节点与多个其他主机节点之间的通信状况,所述主机节点与所述多个其他主机节点均包含于分布式组网系统中;
16、在所述信息交换活跃度未超出所述活跃度阈值时,根据所述通信状况配置针对所述通信资源的分配策略。
17、在本公开的示例性实施例中,所述在所述信息交换活跃度未超出活跃度阈值时,根据所述通信状况确定针对所述通信资源的分配策略,包括:
18、在所述信息交换活跃度未超出活跃度阈值时,检测所述通信状况是否满足预设条件,所述预设条件包括所述主机节点与任一所述其他主机节点之间既存在第一类型传输任务又存在第二类型传输任务,所述第一类型传输任务所承载的数据量大于所述第二类型传输任务所承载的数据量;
19、响应于所述通信状况满足所述预设条件,判断所述第二类型传输任务是否属于特定任务;
20、响应于所述第二类型传输任务不属于所述特定任务,将所述第二类型传输任务分配给用于承载所述第一类型传输任务的特定通信资源,以通过所述特定通信资源传输所述第二类型传输任务。
21、在本公开的示例性实施例中,在确定出所述第二类型传输任务不属于所述特定任务之后,所述方法还包括:
22、阻止所述网卡创建用于承载所述第二类型传输任务的新的通信资源。
23、在本公开的示例性实施例中,所述特定通信资源包括特定队列对;
24、所述将所述第二类型传输任务分配给用于承载所述第一类型传输任务的特定通信资源,以通过所述特定通信资源传输所述第二类型传输任务,包括:
25、将所述第二类型传输任务所关联的待传输数据包发送给所述特定队列对,并提高所述待传输数据包在所述特定队列对中的传输优先级;
26、为所述待传输数据包设置标记标签,以通过所述特定队列对传输所述待传输数据包;所述标记标签用于表征所述待传输数据包关联所述第二类型传输任务。
27、根据本公开的第二方面,提供一种资源管理装置,包括:
28、监测模块,用于监测网卡与主机节点之间针对资源信息的信息交换活跃度;所述网卡配置于所述主机节点上,所述网卡用于提供通信资源,所述通信资源关联所述资源信息;所述主机节点和所述网卡联合存储所述资源信息;
29、获取模块,用于在所述信息交换活跃度超出活跃度阈值时,获取所述网卡待调度的通信资源集合;
30、置换模块,用于响应于所述通信资源集合所关联的待调度资源信息存储于所述主机节点中,将所述待调度资源信息从所述主机节点整体置换至所述网卡中。
31、根据本公开的第三方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的资源管理方法。
32、根据本公开的第四方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述第一方面所述的资源管理方法。
33、由上述技术方案可知,本公开示例性实施例中的资源管理方法、资源管理装置、计算机可读存储介质及电子设备至少具备以下优点和积极效果:
34、在本公开的一些实施例所提供的技术方案中,通过监测网卡与主机节点之间针对资源信息的信息交换活跃度,在信息交换活跃度超出活跃度阈值时,获取网卡待调度的通信资源集合,响应于通信资源集合所关联的待调度资源信息存储于主机节点中,将待调度资源信息从主机节点整体置换至网卡中,能够实时了解网卡与主机节点之间的信息交换活跃度,在其信息交换活跃度超出活跃度阈值的情况下,将待调度资源信息从主机节点一次性整体置换至网卡中,从而解决相关技术中在信息交换活跃情况下网卡频繁与主机节点进行多次qp资源信息置换导致多次io通信,从而使得网卡性能严重消耗的技术问题,减少了网卡与主机节点之间的io交互频率,提升了网卡的处理性能。
35、本公开应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
1.一种资源管理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述在所述信息交换活跃度超出活跃度阈值时,获取所述网卡待调度的通信资源集合,包括:
3.根据权利要求2所述的方法,其特征在于,所述将所述待调度资源信息从所述主机节点整体置换至所述网卡中,包括:
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
5.根据权利要求4所述的方法,其特征在于,所述在所述信息交换活跃度未超出活跃度阈值时,根据所述通信状况确定针对所述通信资源的分配策略,包括:
6.根据权利要求5所述的方法,其特征在于,在确定出所述第二类型传输任务不属于所述特定任务之后,所述方法还包括:
7.根据权利要求5所述的方法,其特征在于,所述特定通信资源包括特定队列对;
8.一种资源管理装置,其特征在于,包括:
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1~7中任意一项所述的资源管理方法。
10.一种电子设备,其特征在于,包括:
