本申请属于人工智能领域,尤其涉及一种指示状态确定方法、装置、设备及可读存储介质。
背景技术:
1、相关技术中主要通过静态图像处理确定目标对象的指示状态,存在指示状态确定的准确性低的问题。其中,目标对象包括插件发光二极管(light emitting diode,led)、贴片led、信号灯、按键、接口和开关分合指示牌等。
技术实现思路
1、本申请实施例提供一种指示状态确定方法、装置、设备及可读存储介质,能够提高指示状态确定的准确性。
2、第一方面,本申请实施例提供一种指示状态确定方法,方法包括:
3、获取目标对象的待检测视频,并从待检测视频中抽取至少一帧图像作为第一目标图像;
4、将第一目标图像输入目标检测模型进行检测,得到目标检测信息,目标检测信息包括目标对象框坐标;
5、利用目标对象框坐标对待检测视频进行切割,得到第一目标视频;
6、将第一目标视频输入目标状态识别模型进行识别,得到目标对象的目标指示状态。
7、在第一方面一些可选的实施方式中,将第一目标图像输入目标检测模型进行检测,得到目标检测信息之前,方法还包括:
8、获取第一训练集,第一训练集包括多个第一训练样本,第一训练样本包括训练图像、训练图像对应的对象类别以及训练图像对应的对象框坐标;
9、重复执行循环步骤,直至满足第一预设停止条件,根据中间检测模型,确定目标检测模型;
10、其中,循环步骤包括:利用第一预设网络对第一训练样本进行训练,得到初始检测模型;
11、利用第二预设网络对初始检测模型进行强化学习和补充识别,得到中间检测模型。
12、在第一方面一些可选的实施方式中,根据中间检测模型,确定目标检测模型,包括:
13、对中间检测模型进行第一预设处理,得到目标检测模型,第一预设处理包括第一正则化处理、第一压缩连接数处理和第一压缩权重数量处理中至少一项。
14、在第一方面一些可选的实施方式中,第一预设网络包括one-shot残差深度网络yolov7,one-shot残差深度网络yolov7包括高效轻量级注意力主干网络结构和最高层的残差抽头中至少一项;
15、和/或,第二预设网络包括双重深度q网络。
16、在第一方面一些可选的实施方式中,将第一目标视频输入目标状态识别模型进行识别,得到目标对象的目标指示状态之前,方法还包括:
17、利用第一预设模型、第二预设模型对预设数据集进行权重预训练,得到多个初始权重值;
18、获取第二训练集,第二训练集包括多个第二训练样本,第二训练样本包括训练视频、训练视频对应的训练指示状态;
19、利用初始权重值对第二训练样本进行训练,直至满足第二预设停止条件,得到初始状态识别模型;
20、根据初始状态识别模型,确定目标状态识别模型。
21、在第一方面一些可选的实施方式中,根据初始状态识别模型,得到目标状态识别模型,包括:
22、对初始状态识别模型进行第二预设处理,得到目标状态识别模型,第二预设处理包括第二正则化处理、第二压缩连接数处理和第二压缩权重数量处理中至少一项。
23、在第一方面一些可选的实施方式中,第一预设模型包括基于视频转换网络的自注意力模型;
24、和/或,第二预设模型包括时序注意力模型,时序注意力模型包括转换主干网络、时差编码/解码连接子模型和时差多头自注意力子模型中至少一项。
25、在第一方面一些可选的实施方式中,获取第二训练集,包括:
26、获取原始视频集,原始视频集包括多个原始视频,原始视频包括至少一个对象和对象对应的原始指示状态;
27、针对每一原始视频,从原始视频中抽取至少一帧图像作为原始图像;
28、针对每一原始视频,将原始图像输入目标检测模型,得到原始检测信息,原始检测信息包括原始对象框坐标;
29、针对每一原始视频,利用原始对象框坐标对原始视频进行切割,得到原始子视频;
30、针对每一原始子视频,按照原始子视频中对象的原始指示状态对原始子视频进行切片,得到多个切片子视频,切片子视频中每一帧图像的对象的原始指示状态相同;
31、将切片子视频作为训练视频,并将切片子视频的原始指示状态作为训练视频对应的训练指示状态,得到第二训练集。
32、在第一方面一些可选的实施方式中,目标检测信息还包括目标对象类别,将所述第一目标视频输入目标状态识别模型进行识别,得到目标对象的目标指示状态之后,方法还包括:
33、输出目标对象框坐标、目标对象类别和目标指示状态。
34、在第一方面一些可选的实施方式中,输出目标对象框坐标、目标对象类别和目标指示状态,包括:
35、将目标对象框坐标、目标对象类别和目标指示状态叠加到待检测视频中,得到第二目标视频;
36、输出第二目标视频。
37、第二方面,本申请实施例提供了一种指示状态确定装置,装置包括:
38、抽取模块,用于获取目标对象的待检测视频,并从待检测视频中抽取至少一帧图像作为第一目标图像;
39、检测模块,用于将第一目标图像输入目标检测模型进行检测,得到目标检测信息,目标检测信息包括目标对象框坐标;
40、切割模块,用于利用目标对象框坐标对待检测视频进行切割,得到第一目标视频;
41、识别模块,用于将第一目标视频输入目标状态识别模型进行识别,得到目标对象的目标指示状态。
42、第三方面,本申请实施例提供了一种电子设备,设备包括:
43、处理器以及存储有计算机程序指令的存储器;
44、处理器执行计算机程序指令时实现如第一方面所述的指示状态确定方法。
45、第四方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现如第一方面的指示状态确定方法。
46、第五方面,本申请实施例提供了一种计算机程序产品,计算机程序产品中的指令由电子设备的处理器执行时,电子设备执行如第一方面的指示状态确定方法。
47、根据本申请实施例提供的指示状态确定方法、装置、设备及可读存储介质,先从待检测视频中抽取至少一帧图像作为第一目标图像,然后将第一目标图像输入目标检测模型进行检测,得到目标对象框坐标,接着利用目标对象框坐标对待检测视频进行切割,得到第一目标视频,再将第一目标视频输入目标状态识别模型进行识别,得到目标对象的目标指示状态。如此,通过将第一目标视频输入目标识别模型进行识别,能够充分考虑第一目标视频内图像之间的关系,进而能够提高指示状态确定的准确性。
1.一种指示状态确定方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述将所述第一目标图像输入目标检测模型进行检测,得到目标检测信息之前,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述中间检测模型,确定目标检测模型,包括:
4.根据权利要求2所述的方法,其特征在于,所述第一预设网络包括one-shot残差深度网络yolov7,所述one-shot残差深度网络yolov7包括高效轻量级注意力主干网络结构和最高层的残差抽头中至少一项;
5.根据权利要求1所述的方法,其特征在于,所述将所述第一目标视频输入目标状态识别模型进行识别,得到所述目标对象的目标指示状态之前,所述方法还包括:
6.根据权利要求5所述的方法,其特征在于,所述根据所述初始状态识别模型,得到目标状态识别模型,包括:
7.根据权利要求5所述的方法,其特征在于,所述第一预设模型包括基于视频转换网络的自注意力模型;
8.根据权利要求5所述的方法,其特征在于,所述获取第二训练集,包括:
9.根据权利要求1所述的方法,其特征在于,所述目标检测信息还包括目标对象类别,所述将所述第一目标视频输入目标状态识别模型进行识别,得到所述目标对象的目标指示状态之后,所述方法还包括:
10.根据权利要求9所述的方法,其特征在于,所述输出所述目标对象框坐标、所述目标对象类别和所述目标指示状态,包括:
11.一种指示状态确定装置,其特征在于,包括:
12.一种电子设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-10任意一项所述的指示状态确定方法。