本技术涉及通信,特别是涉及一种光电混合交换系统、传输方法、装置、gpu服务器及介质。
背景技术:
1、为了解决算力效率问题,采用图形处理单元(graphics processing unit,gpu)集群提供计算能力,且gpu集群的互连网络采用胖树(fat-tree)架构搭建。整个gpu集群提供的计算能力即受单个gpu性能的影响,也受互连网络性能的影响。
2、目前的互连网络中的节点为以太网交换设备,以太网交换设备负责完成光电转换以及电光转换,以此来实现gpu间的通信。以太网交换设备可以实现gpu间的通信,但该以太网交换设备是基于电交换的交换设备,由于基于电交换的交换设备需要执行光电转换,这使得以太网交换设备能耗较大,互连网络能耗较大,且转发时延较大。
技术实现思路
1、本技术实施例的目的在于提供一种光电混合交换系统、传输方法、装置、gpu服务器及介质,以降低互连网络能耗和转发时延。具体技术方案如下:
2、第一方面,本技术实施例提供了一种光电混合交换系统,所述光电混合交换系统包括电交换单元和多个光交换单元;
3、所述光交换单元与gpu间建立光交换链路,所述光交换单元间建立光交换链路,所述光交换链路用于传输数据;
4、所述电交换单元与gpu间建立电交换链路,所述电交换单元间建立电交换链路,所述电交换链路用于传输数据和控制信息,所述电交换单元用于控制所述多个光交换单元中光开关的光纤路径。
5、在一些实施例中,所述电交换单元,具体用于:
6、通过所述电交换单元与gpu间的电交换链路,接收所述gpu发送的光交换路径信息;
7、将所述光交换路径信息转换为所述多个光交换单元中目标光交换单元的光开关控制信号;
8、将所述光开关控制信号发送给所述目标光交换单元,以使所述目标光交换单元根据所述光开关控制信号,切换所述目标光交换单元中光开关的光纤路径。
9、在一些实施例中,所述光交换路径信息包括:设备地址字段、输入始端口字段、光交换路径数字段和输出端口字段;
10、所述设备地址字段,用于填充所述目标光交换单元的地址;
11、所述输入始端口字段,用于填充开始配置光交换路径的输入端口号;
12、所述光交换路径数字段,用于填充连续配置光交换路径的输入端口号的数量;
13、所述输出端口字段,用于填充各个输入端口号对应的输出端口号。
14、在一些实施例中,所述电交换单元,具体用于:
15、感知数据流的电交换转发路径;
16、将所述电交换转发路径映射为光交换转发路径;
17、按照所述光交换转发路径,切换所述多个光交换单元中光开关的光纤路径。
18、在一些实施例中,所述光交换转发路径与所述电交换转发路径途径的光电混合交换系统相同。
19、在一些实施例中,所述光电混合交换系统包括多个电交换单元;每个电交换单元分别与gpu间建立电交换链路。
20、在一些实施例中,所述光交换单元使用薄膜铌酸锂光开关。
21、第二方面,本技术实施例提供了一种数据传输方法,应用于gpu,所述gpu与上述任一所述的光电混合交换系统建立光交换链路和电交换链路;所述方法包括:
22、获取第一数据流;
23、通过所述光交换链路,向所述光电混合交换系统包括的目标光交换单元发送所述第一数据流,以使所述目标光交换单元通过所述gpu对应的光纤路径,转发所述第一数据流。
24、在一些实施例中,所述方法还包括:
25、采用集合通信库,确定所述第一数据流的光交换转发路径;
26、通过所述电交换链路,向所述光电混合交换系统包括的光交换单元发送所述光交换转发路径对应的光交换路径信息,以使所述电交换单元将所述光交换路径信息转换为所述目标光交换单元的光开关控制信号;将所述光开关控制信号发送给所述目标光交换单元,所述目标光交换单元根据所述光开关控制信号,切换所述目标光交换单元中光开关的光纤路径。
27、在一些实施例中,所述第一数据流的流量大于等于预设阈值;所述方法还包括:
28、获取第二数据流,所述第二数据流的流量小于所述预设阈值;
29、通过所述电交换链路,向所述光电混合交换系统包括的电交换单元发送所述第二数据流,以使所述电交换单元对所述第二数据流进行光电转换后,转发光电转换后的第二数据流。
30、在一些实施例中,所述光电混合交换系统包括多个电交换单元;所述方法还包括:
31、获取第三数据流,所述第三数据流对应多个目的gpu,或所述第三数据流与其他gpu发送的数据流的目的gpu相同;
32、通过所述电交换链路,向所述光电混合交换系统包括的多个电交换单元发送所述第三数据流,以使所述多个电交换单元对所述第三数据流进行光电转换后,转发光电转换后的第三数据流。
33、第三方面,本技术实施例提供了一种数据传输装置,应用于gpu,所述gpu与山上任一所述的光电混合交换系统建立光交换链路和电交换链路;所述装置包括:
34、获取模块,用于获取第一数据流;
35、第一发送模块,用于通过所述光交换链路,向所述光电混合交换系统包括的目标光交换单元发送所述第一数据流,以使所述目标光交换单元通过所述gpu对应的光纤路径,转发所述第一数据流。
36、在一些实施例中,所述装置还包括:
37、确定模块,用于采用集合通信库,确定所述第一数据流的光交换转发路径;
38、第二发送模块,用于通过所述电交换链路,向所述光电混合交换系统包括的光交换单元发送所述光交换转发路径对应的光交换路径信息,以使所述电交换单元将所述光交换路径信息转换为所述目标光交换单元的光开关控制信号;将所述光开关控制信号发送给所述目标光交换单元,所述目标光交换单元根据所述光开关控制信号,切换所述目标光交换单元中光开关的光纤路径。
39、在一些实施例中,所述第一数据流的流量大于等于预设阈值;
40、所述获取模块,还用于获取第二数据流,所述第二数据流的流量小于所述预设阈值;
41、所述第一发送模块,还用于通过所述电交换链路,向所述光电混合交换系统包括的电交换单元发送所述第二数据流,以使所述电交换单元对所述第二数据流进行光电转换后,转发光电转换后的第二数据流。
42、在一些实施例中,所述光电混合交换系统包括多个电交换单元;
43、所述获取模块,还用于获取第三数据流,所述第三数据流对应多个目的gpu,或所述第三数据流与其他gpu发送的数据流的目的gpu相同;
44、所述第一发送模块,还用于通过所述电交换链路,向所述光电混合交换系统包括的多个电交换单元发送所述第三数据流,以使所述多个电交换单元对所述第三数据流进行光电转换后,转发光电转换后的第三数据流。
45、第四方面,本技术实施例提供了一种gpu服务器,包括至少一个gpu和机器可读存储介质,所述机器可读存储介质存储有能够被所述gpu执行的机器可执行指令,所述gpu被所述机器可执行指令促使:实现上述任一所述的数据传输方法。
46、第五方面,本技术实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被gpu执行时实现上述任一所述的数据传输方法。
47、本技术实施例有益效果:
48、本技术实施例提供的技术方案中,gpu集群的互连网络中采用包括电交换单元和光交换单元的光电混合交换系统。在光电混合交换系统中,由电交换单元控制光交换单元中光开关的光纤路径。由于电交换单元与光交换单元之间的路径较短,可以大大提高光开关控制的效率,光开关控制更为便捷。
49、此外,在光电混合交换系统中,光交换单元和电交换单元分别与gpu建立链路。这样,gpu间采用光交换单元对应的光交换转发路径传输数据。而光交换单元在转发数据流时,是全光路交换,数据流(光信号)是完全透明传输,中间使用光开关实现光路切换,无光电转换,光开关的光纤路径导通是光路极短,进而降低了光交换单元转发数据流消耗的能耗和时延,降低了互连网络能耗和转发时延。
50、当然,实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。
1.一种光电混合交换系统,其特征在于,所述光电混合交换系统包括电交换单元和多个光交换单元;
2.根据权利要求1所述的系统,其特征在于,所述电交换单元,具体用于:
3.根据权利要求2所述的系统,其特征在于,所述光交换路径信息包括:设备地址字段、输入始端口字段、光交换路径数字段和输出端口字段;
4.根据权利要求1所述的系统,其特征在于,所述电交换单元,具体用于:
5.根据权利要求4所述的系统,其特征在于,所述光交换转发路径与所述电交换转发路径途径的光电混合交换系统相同。
6.根据权利要求1-5任一项所述的系统,其特征在于,所述光电混合交换系统包括多个电交换单元;每个电交换单元分别与gpu间建立电交换链路。
7.根据权利要求1-5任一项所述的系统,其特征在于,所述光交换单元使用薄膜铌酸锂光开关。
8.一种数据传输方法,其特征在于,应用于gpu,所述gpu与权利要求1-7任一项所述的光电混合交换系统建立光交换链路和电交换链路;所述方法包括:
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
10.根据权利要求8所述的方法,其特征在于,所述第一数据流的流量大于等于预设阈值;所述方法还包括:
11.根据权利要求8-10任一项所述的方法,其特征在于,所述光电混合交换系统包括多个电交换单元;所述方法还包括:
12.一种数据传输装置,其特征在于,应用于gpu,所述gpu与权利要求1-7任一项所述的光电混合交换系统建立光交换链路和电交换链路;所述装置包括:
13.根据权利要求12所述的装置,其特征在于,所述装置还包括:
14.根据权利要求12所述的装置,其特征在于,所述第一数据流的流量大于等于预设阈值;
15.根据权利要求12-14任一项所述的装置,其特征在于,所述光电混合交换系统包括多个电交换单元;
16.一种gpu服务器,其特征在于,包括至少一个gpu和机器可读存储介质,所述机器可读存储介质存储有能够被所述gpu执行的机器可执行指令,所述gpu被所述机器可执行指令促使:实现权利要求8-11任一所述的方法步骤。
17.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被gpu执行时实现权利要求8-11任一所述的方法步骤。
