任务处理和下发方法以及计算设备与流程

    技术2024-12-03  13


    本技术涉及计算设备,特别涉及一种任务处理方法、任务下发方法和计算设备。


    背景技术:

    1、本领域中存在需要顺序执行的多个计算任务的处理技术。例如,这些计算任务可以是消息队列中排列的多个任务消息,作为消息消费者的计算单元(例如线程)按照其在消息队列中的排列顺序依次处理这些任务消息。然而,按顺序执行的要求造成这些任务只能在一个计算单元中处理,使得消息串行处理效率低下,在大任务消息消费过程中这个问题更加明显,导致任务处理时间过长。


    技术实现思路

    1、为此,本技术致力于提供一种任务处理方法、任务下发方法和计算设备,其能够利用多个计算单元的并行处理优势进行多任务处理。

    2、在一方面,本技术提供一种任务处理方法,包括:获取多个目标任务,每个目标任务包括并行执行的第一部分和/或串行执行的第二部分,并行执行表示多个第一部分分别在不同的计算单元或在不同的线程中并列执行,串行执行表示多个第二部分是在同一计算单元或者同一线程中按顺序被执行;在多个计算单元中分别执行多个目标任务,其中,多个计算单元并行执行多个目标任务的多个第一部分,第一计算单元串行执行多个目标任务的多个第二部分,第一计算单元为多个计算单元中的一个,或多个计算单元以外的一个计算单元。

    3、根据本方面,将多个目标任务中的每个任务划分成并行处理的第一部分和串行处理的第二部分,并行处理的部分由多个计算单元并行处理,串行处理的部分由一个计算单元串行处理,这样能够充分利用多个计算单元的计算资源,使得计算效率最大化,同时满足串行处理的顺序要求。

    4、在本技术一种可能的实现方式中,多个目标任务由一个总任务拆分得到。

    5、根据本实现方式,多个目标任务可以由一个总任务拆分得到,使得本技术技术方案既适用于多任务处理的场景,也适用于单任务处理的场景。在面对单个任务时,可以按照本技术的方式将单个总任务拆分成多个目标任务,再对多个目标任务进行处理,从而采用本技术的方式提高任务处理速度,扩展了本技术技术方案的适用范围,提高了应用价值。

    6、在本技术一种可能的实现方式中,每个目标任务包括第一阶段任务和第二阶段任务,第一阶段任务包括并行执行的第一阶段第一部分和/或串行执行的第一阶段第二部分,第二阶段任务包括并行执行的第二阶段第一部分和/或串行执行的第二阶段第二部分,多个目标任务的多个第二阶段任务在多个目标任务的多个第一阶段任务执行完毕后执行。

    7、根据本实现方式,通过将每个目标任务划分成第一阶段和第二阶段,使得每个计算单元的一次性计算任务量可以得到缩减。通过划分不同的阶段,使得计算单元可以依次按照不同的阶段逐步处理任务,避免较大任务一次性处理所带来的较大负荷和较长等待时间,有利于提高计算效率,提升用户体验。

    8、在本技术一种可能的实现方式中,获取多个目标任务,包括:识别每个目标任务的任务标记;根据任务标记,将多个目标任务划分为并行执行任务和串行执行任务,其中并行执行任务包括第一部分或包括第一部分和第二部分,串行执行任务包括第二部分。

    9、根据本实现方式,通过给目标任务标注不同的任务标记,使得计算单元可以根据任务标记对目标任务进行不同的处理。当目标任务被标注为并行执行任务时,可以根据标记将该目标任务分配给不同的多个计算单元进行并行处理,当目标任务被标注为串行执行任务时,可以将该目标任务分配给同一个计算单元进行串行处理。通过标记来控制目标任务的执行方式,可以以简单有效的低成本方式控制任务的执行,提高了控制能力和效率。

    10、在本技术一种可能的实现方式中,每个目标任务均包括第一部分和第二部分,每个目标任务的第二部分在第一部分处理结束后处理,在多个计算单元中分别执行多个目标任务,包括:在计算单元处理每个目标任务的第一部分结束后,通知第一计算单元,以允许第一计算单元处理相应目标任务的第二部分。

    11、根据本实现方式,通过在并行处理的计算单元和串行处理的计算单元之间建立通知机制,使得串行处理的计算单元能够根据并行处理的进度,严格按照顺序要求进行串行处理,避免执行顺序发生混乱。

    12、在本技术一种可能的实现方式中,在计算单元处理目标任务的第一部分结束后,通知第一计算单元,以允许第一计算单元处理目标任务的第二部分,包括:将表示第一部分处理结束的结束信息存储在共享存储空间中;使第一计算单元从共享存储空间中读取结束信息,以获得第一部分处理结束的通知。

    13、根据本实现方式,通过共享存储空间的方式实现并行处理的计算单元与串行处理的计算单元之间的进度通信,可以有效实现顺畅可靠的通信,利用成熟的存储技术,使得第一单元可以按需获取结束信息,方便快捷。

    14、在本技术一种可能的实现方式中,结束信息包括根据第一子任务的任务标识而确定的键和第一部分的处理结果信息,键与处理结果信息构成键值对。

    15、根据本实现方式,通过键值对的方式存储结束信息,可以将数据量较大的处理结果信息与数据量较小的键对应上,使得可以通过针对键的查询和读取来获得结束信息,减少了数据处理量,加快了运行速度。

    16、在本技术一种可能的实现方式中,处理结果信息包括第一部分的处理结果或处理结果所存放的地址。

    17、根据本实现方式,将处理结果存放在一定的地址上,可以针对具有特别大的数据量的处理结果,使得用于表示结束信息的键值对具有较小的数据量,从而方便通知机制的运行,降低存储键值对的共享存储空间大小要求和数据传输性能要求。

    18、在本技术一种可能的实现方式中,将表示第一部分处理结束的结束信息存储在共享存储空间中,包括:将键和键关联的处理结果信息存储在共享存储空间中。其中,使第一计算单元从共享存储空间中读取结束信息,以获得第一部分处理结束的通知,包括:根据键在共享存储空间中查找到键关联的处理结果信息。其中,方法还包括:在第一计算单元处理目标任务的第二部分结束后,从共享存储空间中删除键和键关联的处理结果信息。

    19、根据本实现方式,通过采用键的查询和删除的方式,使得串行处理的计算单元(即第一单元)能够高效获取并行处理的计算单元的处理进度,并且及时更新和删除数据,避免数据积累从而占用存储空间,实现数据的高效利用。

    20、在本技术一种可能的实现方式中,第一计算单元为多个计算单元中的一个,的多个计算单元并行执行多个目标任务的多个第一部分,包括:在第一计算单元中处理具有第一任务量的第一部分,在多个计算单元的除第一计算单元以外的其它计算单元中处理具有第二任务量的第一部分,其中第一任务量少于第二任务量。

    21、根据本实现方式,通过减少具有串行处理任务的第一单元的任务量,可以使第一单元更快完成其所承担的并行处理任务中的部分,使得任务分布在多个计算单元中更加平衡,实现计算资源的平衡和高效利用。

    22、在另一方面,本技术提供一种任务下发方法,包括:将总任务划分为多个目标任务;对每个目标任务进行划分,使得每个目标任务包括并行执行的第一部分和/或串行执行的第二部分,并行执行表示多个第一部分分别在不同的计算单元或在不同的线程中并列执行,串行执行表示多个第二部分是在同一计算单元或者同一线程中按顺序被执行;将多个目标任务下发给多个计算单元进行处理,其中,多个计算单元并行执行多个目标任务的多个第一部分,第一计算单元串行执行多个目标任务的多个第二部分,第一计算单元为多个计算单元中的一个,或多个计算单元以外的一个计算单元。

    23、在另一方面,本技术提供一种任务处理装置,包括:获取模块,用于获取多个目标任务,每个目标任务包括并行执行的第一部分和/或串行执行的第二部分,并行执行表示多个第一部分分别在不同的计算单元或在不同的线程中并列执行,串行执行表示多个第二部分是在同一计算单元或者同一线程中按顺序被执行;执行模块,用于在多个计算单元中分别执行多个目标任务,其中,多个计算单元并行执行多个目标任务的多个第一部分,第一计算单元串行执行多个目标任务的多个第二部分,第一计算单元为多个计算单元中的一个,或多个计算单元以外的一个计算单元。

    24、在本技术一种可能的实现方式中,多个目标任务由一个总任务拆分得到。

    25、在本技术一种可能的实现方式中,每个目标任务包括第一阶段任务和第二阶段任务,第一阶段任务包括并行执行的第一阶段第一部分和/或串行执行的第一阶段第二部分,第二阶段任务包括并行执行的第二阶段第一部分和/或串行执行的第二阶段第二部分,多个目标任务的多个第二阶段任务在多个目标任务的多个第一阶段任务执行完毕后执行。

    26、在本技术一种可能的实现方式中,获取模块被进一步配置成:识别每个目标任务的任务标记;根据任务标记,将多个目标任务划分为并行执行任务和串行执行任务,其中并行执行任务包括第一部分或包括第一部分和第二部分,串行执行任务包括第二部分。

    27、在本技术一种可能的实现方式中,每个目标任务均包括第一部分和第二部分,每个目标任务的第二部分在第一部分处理结束后处理,执行模块被进一步配置成:在计算单元处理每个目标任务的第一部分结束后,通知第一计算单元,以允许第一计算单元处理相应目标任务的第二部分。

    28、在本技术一种可能的实现方式中,执行模块被进一步配置成:将表示第一部分处理结束的结束信息存储在共享存储空间中;使第一计算单元从共享存储空间中读取结束信息,以获得第一部分处理结束的通知。

    29、在本技术一种可能的实现方式中,结束信息包括根据第一子任务的任务标识而确定的键和第一部分的处理结果信息,键与处理结果信息构成键值对。

    30、在本技术一种可能的实现方式中,处理结果信息包括第一部分的处理结果或处理结果所存放的地址。

    31、在本技术一种可能的实现方式中,执行模块被进一步配置成:将键和键关联的处理结果信息存储在共享存储空间中。其中,执行模块被进一步配置成:根据键在共享存储空间中查找到键关联的处理结果信息。其中,装置被进一步配置成:在第一计算单元处理目标任务的第二部分结束后,从共享存储空间中删除键和键关联的处理结果信息。

    32、在本技术一种可能的实现方式中,第一计算单元为多个计算单元中的一个,执行模块被进一步配置成:在第一计算单元中处理具有第一任务量的第一部分,在多个计算单元的除第一计算单元以外的其它计算单元中处理具有第二任务量的第一部分,其中第一任务量少于第二任务量。

    33、在另一方面,本技术提供一种任务处理系统,包括:多个计算单元,多个计算单元分别执行多个目标任务,每个目标任务包括并行执行的第一部分和/或串行执行的第二部分,并行执行表示多个第一部分分别在不同的计算单元或在不同的线程中并列执行,串行执行表示多个第二部分是在同一计算单元或者同一线程中按顺序被执行,其中,多个计算单元并行执行多个目标任务的多个第一部分;第一计算单元,第一计算单元串行执行多个目标任务的多个第二部分,第一计算单元为多个计算单元中的一个,或多个计算单元以外的一个计算单元。

    34、在另一方面,本技术提供一种计算设备,计算设备包括处理器和存储器,处理器用于执行存储于存储器内的计算机程序以实现上述任务处理方法。

    35、在另一方面,本技术提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序用于执行上述任务处理方法。

    36、在另一方面,本技术提供一种计算机程序产品,包括程序代码,当计算机运行计算机程序产品时,使得计算机实现上述任务处理方法。

    37、上述提供的任一种任务处理装置、任务处理系统、计算设备、计算机可读存储介质或计算机程序产品,均用于执行上文所提供的任务处理方法,因此,其所能达到的有益效果可参考上文提供的对应方法中的对应方案的有益效果,此处不再赘述。


    技术特征:

    1.一种任务处理方法,其特征在于,所述方法包括:

    2.根据权利要求1所述的方法,其特征在于,所述多个目标任务由一个总任务拆分得到。

    3.根据权利要求1所述的方法,其特征在于,每个目标任务包括第一阶段任务和第二阶段任务,所述第一阶段任务包括并行执行的第一阶段第一部分和/或串行执行的第一阶段第二部分,所述第二阶段任务包括并行执行的第二阶段第一部分和/或串行执行的第二阶段第二部分,所述多个目标任务的多个第二阶段任务在所述多个目标任务的多个第一阶段任务执行完毕后执行。

    4.根据权利要求1所述的方法,其特征在于,所述获取多个目标任务,包括:

    5.根据权利要求1所述的方法,其特征在于,每个目标任务均包括所述第一部分和所述第二部分,每个目标任务的所述第二部分在所述第一部分处理结束后处理,所述在多个计算单元中分别执行所述多个目标任务,包括:

    6.根据权利要求5所述的方法,其特征在于,所述在所述计算单元处理目标任务的第一部分结束后,通知所述第一计算单元,以允许所述第一计算单元处理所述目标任务的第二部分,包括:

    7.根据权利要求6中任一项所述的方法,其特征在于,所述结束信息包括根据所述第一部分的任务标识而确定的键和所述第一部分的处理结果信息,所述键与所述处理结果信息构成键值对。

    8.根据权利要求7所述的方法,其特征在于,所述处理结果信息包括所述第一部分的处理结果或所述处理结果所存放的地址。

    9.根据权利要求7中任一项所述的方法,其特征在于,所述将表示所述第一部分处理结束的结束信息存储在共享存储空间中,包括:

    10.根据权利要求1所述的方法,其特征在于,所述第一计算单元为所述多个计算单元中的一个,所述的所述多个计算单元并行执行所述多个目标任务的多个第一部分,包括:

    11.一种任务下发方法,其特征在于,所述方法包括:

    12.一种计算设备,其特征在于,所述计算设备包括处理器和存储器,所述处理器用于执行存储于所述存储器内的计算机程序以实现权利要求1至10中任一项所述的任务处理方法。


    技术总结
    本申请提供一种任务处理方法、任务下发方法和计算设备。任务处理方法包括:获取多个目标任务,每个目标任务包括并行执行的第一部分和/或串行执行的第二部分;在多个计算单元中分别执行多个目标任务,其中,多个计算单元并行执行多个目标任务的多个第一部分,第一计算单元串行执行多个目标任务的多个第二部分,第一计算单元为多个计算单元中的一个,或多个计算单元以外的一个计算单元。根据本申请,能够利用多个计算单元的并行处理优势进行多任务处理,同时满足多任务处理的顺序性要求。

    技术研发人员:黄映乾
    受保护的技术使用者:超聚变数字技术有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-22954.html

    最新回复(0)