数据运算的控制方法和装置、存储介质及电子设备与流程

    技术2026-06-04  5


    本技术实施例涉及计算机领域,具体而言,涉及一种数据运算的控制方法和装置、存储介质及电子设备。


    背景技术:

    1、随着大数据、5g通信和大语言模型等技术的发展,人工智能(ai)已经深入到社会的各个领域。ai应用,特别是生成式人工智能(aigc),对计算能力的需求急剧增加,传统的cpu架构难以满足这种需求。

    2、当前,为了提高计算效率,研究者们开发了单指令多数据流(simd,singleinstruction multiple data)等指令集扩展技术,以提高数据并行处理能力。risc-v架构通过rvv(risc-v“v”vector,risc-v向量指令集扩展)扩展引入了向量处理能力,提供了灵活的向量长度和位宽,以及多种寻址模式。尽管存在技术进步,现有技术在处理ai应用时仍显示出瓶颈,尤其是在灵活性和可扩展性方面。原因是基于risc-v架构的向量指令集扩展通常将计算单元内置于cpu内部,内置计算单元通常受限于cpu的物理和逻辑设计,包括但不限于数据传输带宽、执行单元的数量和速度、以及缓存结构等。随着ai算法变得越来越复杂,需要处理的数据量和计算量大幅增加,内置的计算单元可能无法提供足够的计算资源,导致处理速度跟不上需求,出现性能瓶颈,难以适应不同类型的应用负载,特别是在高性能实时计算和大规模数据处理等ai场景中。

    3、针对相关技术中,数据运算的效率较低等问题,尚未提出有效的解决方案。


    技术实现思路

    1、本技术实施例提供了一种数据运算的控制方法和装置、存储介质及电子设备,以至少解决相关技术中,数据运算的效率较低等问题。

    2、根据本技术实施例的一个实施例,提供了一种数据运算的控制方法,数据运算设备中部署了主处理器和协处理器,所述协处理器包括控制器、指令调度器和多个子处理器,所述主处理器与所述协处理器中的所述指令调度器连接,所述主处理器上部署了人工智能模型,每个所述子处理器用于执行一个运算维度的数据运算操作,所述人工智能模型为使用多个所述子处理器所允许执行的多个运算维度的数据运算操作所产生的数据运算结果运行的模型,所述方法应用于所述控制器,所述方法包括:

    3、检测所述指令调度器从所述主处理器上接收到的运算指令,其中,所述运算指令是所述主处理器在所述人工智能模型运行至待使用所述多个运算维度的数据运算操作所产生的数据运算结果时生成的;

    4、在检测到所述指令调度器当前接收到目标运算指令的情况下,检测所述目标运算指令所指示的数据运算操作所属的运算维度,得到目标运算维度;

    5、控制所述指令调度器将所述目标运算指令发送至多个所述子处理器中允许执行所述目标运算维度的运算操作的目标子处理器,其中,所述目标子处理器用于执行所述目标运算指令得到目标数据运算结果,并将所述目标数据运算结果同步至所述主处理器。

    6、可选的,所述控制所述指令调度器将所述目标运算指令发送至多个所述子处理器中允许执行所述目标运算维度的运算操作的目标子处理器,包括:

    7、在检测到所述目标运算指令所指示的数据运算操作所属的运算维度为向量运算维度的情况下,控制所述指令调度器将所述目标运算指令发送至多个所述子处理器中的向量子处理器,其中,所述向量子处理器为允许执行所述向量运算维度的数据运算操作的子处理器,所述目标运算维度包括所述向量运算维度,所述目标子处理器包括所述向量子处理器,属于所述向量运算维度的所述数据运算操作为执行向量运算的操作;

    8、在检测到所述目标运算指令所指示的数据运算操作所属的运算维度为矩阵运算维度的情况下,控制所述指令调度器将所述目标运算指令发送至多个所述子处理器中的矩阵子处理器,其中,所述矩阵子处理器为允许执行所述矩阵运算维度的数据运算操作的子处理器,所述目标运算维度包括所述矩阵运算维度,所述目标子处理器包括所述矩阵子处理器,属于所述矩阵运算维度的所述数据运算操作为执行矩阵运算的操作。

    9、可选的,所述向量子处理器中部署了向量控制器、向量数据寄存器组、向量属性寄存器组、向量运算器和向量访存器,在所述控制所述指令调度器将所述目标运算指令发送至多个所述子处理器中的向量子处理器之后,所述方法还包括:

    10、调用所述向量控制器对所述向量子处理器接收到的所述目标运算指令执行译码操作,得到所述目标运算指令所指示的所述数据运算操作的向量运算类型和向量数据信息,其中,所述向量数据信息用于指示参与所述数据运算操作的目标向量数据;

    11、调用所述向量控制器根据所述向量数据信息对所述向量属性寄存器组中当前存储的元素范围参数和元素类型参数进行调整,得到目标元素范围参数和目标元素类型参数,其中,所述目标元素范围参数用于指示所述目标向量数据中允许参与所述数据运算操作的向量元素的范围,所述目标元素类型参数用于指示所述目标向量数据中每个所述向量元素的数据类型;

    12、调用所述向量访存器根据所述向量数据信息将所述目标向量数据从主处理器存储空间加载至所述向量数据寄存器组;

    13、调用所述向量运算器从所述向量数据寄存器组中提取所述目标向量数据,并按照所述向量属性寄存器组中存储的所述目标元素范围参数和所述目标元素类型参数对所述目标向量数据执行所述向量运算类型的所述数据运算操作,得到所述目标数据运算结果;

    14、调用所述向量访存器将所述目标数据运算结果存储至所述向量子处理器对应的向量存储空间。

    15、可选的,所述调用所述向量运算器从所述向量数据寄存器组中提取所述目标向量数据,并按照所述向量属性寄存器组中存储的所述目标元素范围参数和所述目标元素类型参数对所述目标向量数据执行所述向量运算类型的所述数据运算操作,得到所述目标数据运算结果,包括:

    16、控制所述向量运算器从所述向量数据寄存器组的目标向量数据寄存器中提取出目标掩码集合,其中,所述目标掩码集合包括多个目标掩码,多个所述目标掩码中每个所述目标掩码与所述目标向量数据中允许参与所述数据运算操作的一个所述向量元素对应;

    17、控制所述向量运算器检测允许参与所述数据运算操作的每个所述向量元素对应的所述目标掩码是否为第一数值;

    18、控制所述向量运算器禁止所述目标掩码为所述第一数值的所述向量元素参与所述数据运算操作。

    19、可选的,所述向量子处理器中还部署了向量同步管理器,所述向量同步管理器同时与所述向量存储空间和所述主处理器存储空间连接,在所述调用所述向量访存器将所述目标数据运算结果存储至所述向量子处理器对应的向量存储空间之后,所述方法还包括:

    20、调用所述向量同步管理器将所述目标数据运算结果标记为待传输状态;

    21、调用所述向量同步管理器控制处于所述待传输状态的数据从所述向量存储空间向所述主处理器存储空间传输,并检测所述待传输状态的数据是否传输完毕;

    22、在检测到所述待传输状态的数据是否传输完毕的情况下,调用所述向量同步管理器将所述目标数据运算结果标记为已传输状态,其中,所述已传输状态用于指示所述目标数据运算结果已经从所述向量存储空间传输至所述主处理器存储空间。

    23、可选的,所述矩阵子处理器中部署了矩阵控制器、矩阵数据寄存器组、矩阵属性寄存器组、矩阵运算器和矩阵访存器,在所述控制所述指令调度器将所述目标运算指令发送至多个所述子处理器中的矩阵子处理器之后,所述方法还包括:

    24、调用所述矩阵控制器对所述矩阵子处理器接收到的所述目标运算指令执行译码操作,得到所述目标运算指令所指示的所述数据运算操作的矩阵运算类型和矩阵数据信息,其中,所述矩阵数据信息用于指示参与所述数据运算操作的目标矩阵数据;

    25、调用所述矩阵控制器根据所述矩阵数据信息对所述矩阵属性寄存器组中当前存储的矩阵属性参数进行调整,得到目标矩阵属性参数,其中,所述目标矩阵属性参数用于指示所述矩阵子处理器允许执行所述数据运算操作的矩阵数据的矩阵形状;

    26、调用所述矩阵访存器根据所述矩阵数据信息将所述目标矩阵数据从主处理器存储空间加载至所述矩阵数据寄存器组;

    27、调用所述矩阵运算器从所述矩阵数据寄存器组中提取所述目标矩阵数据,并对所述目标矩阵数据执行所述矩阵运算类型的所述数据运算操作,得到所述目标数据运算结果;

    28、调用所述矩阵访存器将所述目标数据运算结果存储至所述矩阵子处理器对应的矩阵存储空间。

    29、可选的,所述矩阵子处理器中还部署了矩阵同步管理器,所述矩阵同步管理器同时与所述矩阵存储空间和所述主处理器存储空间连接,在所述调用所述矩阵访存器将所述目标数据运算结果存储至所述矩阵子处理器对应的矩阵存储空间之后,所述方法还包括:

    30、调用所述矩阵同步管理器将所述目标数据运算结果标记为待传输状态;

    31、调用所述矩阵同步管理器控制处于所述待传输状态的数据从所述矩阵存储空间向所述主处理器存储空间传输,并检测所述待传输状态的数据是否传输完毕;

    32、在检测到所述待传输状态的数据是否传输完毕的情况下,调用所述矩阵同步管理器将所述目标数据运算结果标记为已传输状态,其中,所述已传输状态用于指示所述目标数据运算结果已经从所述矩阵存储空间传输至所述主处理器存储空间。

    33、根据本技术实施例的另一个实施例,还提供了一种数据运算的控制装置,数据运算设备中部署了主处理器和协处理器,所述协处理器包括控制器、指令调度器和多个子处理器,所述主处理器与所述协处理器中的所述指令调度器连接,所述主处理器上部署了人工智能模型,每个所述子处理器用于执行一个运算维度的数据运算操作,所述人工智能模型为使用多个所述子处理器所允许执行的多个运算维度的数据运算操作所产生的数据运算结果运行的模型,所述数据运算的控制装置应用于所述控制器,所述数据运算的控制装置包括:

    34、第一检测模块,用于检测所述指令调度器从所述主处理器上接收到的运算指令,其中,所述运算指令是所述主处理器在所述人工智能模型运行至待使用所述多个运算维度的数据运算操作所产生的数据运算结果时生成的;

    35、第二检测模块,用于在检测到所述指令调度器当前接收到目标运算指令的情况下,检测所述目标运算指令所指示的数据运算操作所属的运算维度,得到目标运算维度;

    36、发送模块,用于控制所述指令调度器将所述目标运算指令发送至多个所述子处理器中允许执行所述目标运算维度的运算操作的目标子处理器,其中,所述目标子处理器用于执行所述目标运算指令得到目标数据运算结果,并将所述目标数据运算结果同步至所述主处理器;

    37、根据本技术的又一个实施例,还提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行上述任一项方法实施例中的步骤。

    38、根据本技术的又一个实施例,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

    39、根据本技术的又一个实施例,还提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

    40、在本技术实施例中,提出了一种数据运算的控制方法,数据运算设备中部署了主处理器和协处理器,协处理器包括控制器、指令调度器和多个子处理器,主处理器与协处理器中的指令调度器连接,主处理器上部署了人工智能模型,每个子处理器用于执行一个运算维度的数据运算操作,人工智能模型为使用多个子处理器所允许执行的多个运算维度的数据运算操作所产生的数据运算结果运行的模型,本方案中首先通过控制器检测指令调度器从主处理器上接收到的运算指令,其中,运算指令是主处理器在人工智能模型运行至待使用多个运算维度的数据运算操作所产生的数据运算结果时生成的;并在检测到指令调度器当前接收到目标运算指令的情况下,进一步通过控制器检测目标运算指令所指示的数据运算操作所属的运算维度,得到目标运算维度;进而通过控制器控制指令调度器将目标运算指令发送至多个子处理器中允许执行目标运算维度的运算操作的目标子处理器,其中,目标子处理器可以执行目标运算指令得到目标数据运算结果,并将目标数据运算结果同步至主处理器,通过上述方式使用协处理器协助主处理器处理多个运算维度的数据运算操作,协处理器上每个所述子处理器用于执行一个运算维度的数据运算操作,由于协处理器部署在主处理器外部,因此主处理器物理和逻辑设计不会影响到协处理器的算力,极大提高了数据运算操作的速度。采用上述技术方案,解决了相关技术中,数据运算的效率较低等问题,实现了提高数据运算的效率的技术效果。


    技术特征:

    1.一种数据运算的控制方法,其特征在于,数据运算设备中部署了主处理器和协处理器,所述协处理器包括控制器、指令调度器和多个子处理器,所述主处理器与所述协处理器中的所述指令调度器连接,所述主处理器上部署了人工智能模型,每个所述子处理器用于执行一个运算维度的数据运算操作,所述人工智能模型为使用多个所述子处理器所允许执行的多个运算维度的数据运算操作所产生的数据运算结果运行的模型,所述方法应用于所述控制器,所述方法包括:

    2.根据权利要求1所述的方法,其特征在于,

    3.根据权利要求2所述的方法,其特征在于,

    4.根据权利要求3所述的方法,其特征在于,

    5.根据权利要求3所述的方法,其特征在于,

    6.根据权利要求2所述的方法,其特征在于,

    7.根据权利要求6所述的方法,其特征在于,

    8.一种数据运算的控制装置,其特征在于,

    9.一种计算机可读存储介质,其特征在于,

    10.一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,


    技术总结
    本申请公开了一种数据运算的控制方法和装置、存储介质及电子设备,该数据运算的控制方法包括:检测指令调度器从主处理器上接收到的运算指令;在检测到指令调度器当前接收到目标运算指令的情况下,检测目标运算指令所指示的数据运算操作所属的运算维度,得到目标运算维度;控制指令调度器将目标运算指令发送至多个子处理器中允许执行目标运算维度的运算操作的目标子处理器,采用上述技术方案,解决了相关技术中,数据运算的效率较低等问题,进而达到了提高数据运算的效率的技术效果。

    技术研发人员:刘骜,刘凯
    受保护的技术使用者:山东云海国创云计算装备产业创新中心有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-43106.html

    最新回复(0)