本技术属于人工智能，特别涉及一种行为检测方法、装置、电子设备、存储介质和程序产品。
背景技术：
1、在相关技术中，可以采用基于图像识别技术的目标检测方法对人员操控物品的行为进行检测，然而，基于图像识别技术的目标检测方法是通过预训练模型实现的，预训练模型的图像识别精度较低，导致降低了对人员操控物品的行为进行检测的精度。
技术实现思路
1、本技术实施例提供一种行为检测方法、装置、电子设备、存储介质和程序产品。
2、本技术实施例提供一种行为检测方法，所述方法包括：
3、获取视频流中的一帧图像或多帧图像；
4、对所述一帧图像或多帧图像中目标帧图像进行目标检测，确定所述目标帧图像中的人员检测框和物品检测框；
5、在所述目标帧图像中的人员检测框中筛选出符合第一条件的人员检测框，并在所述目标帧图像中的物品检测框中筛选出符合第二条件的物品检测框；所述第一条件包括：所述人员检测框的置信度大于或等于第一置信度阈值，所述第二条件包括：所述物品检测框的置信度大于或等于第二置信度阈值；
6、在所述符合第一条件的人员检测框中的第一人员检测框与所述符合第二条件的物品检测框中的第一物品检测框的交并比大于第一交并比阈值时，确定所述目标帧图像存在人员操控物品的行为。
7、在一些实施例中，所述视频流中的至少一帧图像包括通过图像采集得到的连续n帧图像，所述n为大于1的整数；所述方法还包括：在所述连续n帧图像均存在人员操控物品的行为时，确定所述连续n帧图像的采集时间出现所述人员操控物品的行为；在所述连续n帧图像的一帧图像或多帧图像不存在人员操控物品的行为时，确定所述连续n帧图像的采集时间未出现所述人员操控物品的行为。
8、可以看出，本技术实施例可以对人员操控物品的行为进行持续检测，如果连续n帧图像均存在人员操控物品的行为，才会认定连续n帧图像的采集时间出现人员操控物品的行为，否则可以认为连续n帧图像的采集时间未出现人员操控物品的行为，这样可以降低误检率和误召回的出现次数，提升目标检测的精准率。
9、在一些实施例中，所述方法还包括：在所述连续n帧图像均存在人员操控物品的行为时，生成提示信息和/或输出行为检测结果，所述行为检测结果包括以下至少一项：存在人员操控物品的行为的图像、所述人员操控物品的行为对应的人员检测框、所述人员操控物品的行为对应的物品检测框。
10、可以看出，本技术实施例中通过生成提示信息和/或输出行为检测结果，便于后续根据提示信息和/或行为检测结果进行及时处理。
11、在一些实施例中，所述在所述目标帧图像中的人员检测框中筛选出符合第一条件的人员检测框，并在所述目标帧图像中的物品检测框中筛选出符合第二条件的物品检测框，包括：在所述目标帧图像中的人员检测框中筛选出符合第一条件的人员检测框之后，对目标帧图像中包括所述人员检测框的部分区域进行裁剪，得到裁剪图像；在所述裁剪图像中筛选出符合第二条件的物品检测框。
12、可以看出，本技术实施例无需在目标帧图像中直接检测物品，而是可以在包括人员检测框的部分区域中检测物品，这样可以降低物品检测的计算量和误检率，有利于实现物品的实时检测。
13、在一些实施例中，所述方法还包括：在所述符合第一条件的人员检测框中的第一人员检测框与所述符合第二条件的物品检测框中的第一物品检测框的交并比小于第二交并比阈值时，确定所述目标帧图像不存在人员操控物品的行为，所述第二交并比阈值小于所述第一交并比阈值。
14、可以看出，由于第二交并比阈值小于第一交并比阈值，因而，如果第一人员检测框与第一物品检测框的交并比小于第二交并比阈值，可以认为第一人员检测框与第一物品检测框的交并比很小，在这种情况下，可以较为准确地判定目标帧图像不存在人员操控物品的行为。
15、在一些实施例中，所述对所述至少一帧图像中目标帧图像进行目标检测，确定所述目标帧图像中的人员检测框和物品检测框，包括：将所述目标帧图像输入至预先训练的目标检测模型中，利用所述目标检测模型对所述目标帧图像进行处理，输出所述目标帧图像中的人员检测框和物品检测框；其中，所述目标检测模型的训练数据中包括预设的多个拍摄角度的拍摄图像，所述预设的多个拍摄角度的拍摄图像中人员操控物品的姿势包括预设的多种姿势。
16、可以看出，本技术实施例中，可以基于多个拍摄角度的拍摄图像和人员操控物品的多种姿势构建训练数据，从而在基于训练数据训练目标检测模型后，可以使训练完成的目标检测模型能够更加准确地任意拍摄角度的图像进行目标检测，也可以使训练完成的目标检测模型能够准确地检测出人员操控物品的任意姿势，即，与相关技术中基于人体姿态检测人员操控物行为的方案相比，训练完成的目标检测模型可以更加准确地检测出人员操控物品的任意姿势，同时不需要对人体姿势进行判断。
17、在一些实施例中，所述预设的多个拍摄角度的拍摄图像中人员操控物品的图像的占比大于或等于设定占比。
18、可以看出，由于在训练数据中，预设的多个拍摄角度的拍摄图像中人员操控物品图像的占比大于或等于设定占比，因此，可以确定训练数据包括了较多的人员操控物品的图像，在此基础上，基于训练数据训练目标检测模型，可以使得训练完成目标检测模型能够较为准确地实现人员检测和物品检测。
19、在一些实施例中，所述训练数据是通过对原始图像数据进行数据增强操作得出的，所述数据增强操作包括以下一项或多项：马赛克(mosaic)数据增强操作、图像混合(mixup)数据增强操作、水平翻转、裁剪、缩放处理。可以看出，本技术实施例通过对原始图像数据进行数据增强操作，可以扩展训练数据，从而增强目标检测模型的鲁棒性。
20、在一些实施例中，所述目标检测模型的训练过程包括：采用低秩更新的方法对所述目标检测模型的全连接层、嵌入层和卷积层进行参数调整的步骤。可以看出，本发明不采用常用的全参数更新的方式，而是采用lora方法进行参数微调，可以大大降低微调参数量以节省内存，减少微调时间，节省计算资源。
21、本技术实施例还提供一种行为检测装置，所述装置包括：
22、获取模块，用于获取视频流中的至少一帧图像；
23、检测模块，用于对所述至少一帧图像中目标帧图像进行目标检测，确定所述目标帧图像中的人员检测框和物品检测框；
24、处理模块，用于在所述目标帧图像中的人员检测框中筛选出符合第一条件的人员检测框，并在所述目标帧图像中的物品检测框中筛选出符合第二条件的物品检测框；在所述符合第一条件的人员检测框中的第一人员检测框与所述符合第二条件的物品检测框中的第一物品检测框的交并比大于第一交并比阈值时，确定所述目标帧图像存在人员操控物品的行为；所述第一条件包括：所述人员检测框的置信度大于第一置信度阈值，所述第二条件包括：所述物品检测框的置信度大于第二置信度阈值。
25、本技术实施例还提供了一种电子设备，所述电子设备包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序以执行上述任意一种无线资源分配方法。
26、本技术实施例还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任意一种行为检测方法。
27、本技术实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述任意一种行为检测方法。
28、可以看出，第一人员检测框的置信度大于或等于第一置信度阈值，第一物品检测框的置信度大于第二置信度阈值，因而，如果第一人员检测框与第一物品检测框的交并比大于第一交并比阈值，则可以认为置信度较高的人员检测框与置信度较高的物品检测框存在较大的重叠，在此基础上，可以较为准确地判定图像中存在人员操控物品的行为。
1.一种行为检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述视频流中的至少一帧图像包括通过图像采集得到的连续n帧图像，所述n为大于1的整数；
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：在所述连续n帧图像均存在人员操控物品的行为时，生成提示信息和/或输出行为检测结果，所述行为检测结果包括以下至少一项：存在人员操控物品的行为的图像、所述人员操控物品的行为对应的人员检测框、所述人员操控物品的行为对应的物品检测框。
4.根据权利要求1所述的方法，其特征在于，所述在所述目标帧图像中的人员检测框中筛选出符合第一条件的人员检测框，并在所述目标帧图像中的物品检测框中筛选出符合第二条件的物品检测框，包括：
5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：在所述符合第一条件的人员检测框中的第一人员检测框与所述符合第二条件的物品检测框中的第一物品检测框的交并比小于第二交并比阈值时，确定所述目标帧图像不存在人员操控物品的行为，所述第二交并比阈值小于所述第一交并比阈值。
6.根据权利要求1至4任一项所述的方法，其特征在于，所述对所述至少一帧图像中目标帧图像进行目标检测，确定所述目标帧图像中的人员检测框和物品检测框，包括：
7.根据权利要求6所述的方法，其特征在于，所述预设的多个拍摄角度的拍摄图像中人员操控物品的图像的占比大于或等于设定占比。
8.根据权利要求6所述的方法，其特征在于，所述训练数据是通过对原始图像数据进行数据增强操作得出的，所述数据增强操作包括以下一项或多项：马赛克mosaic数据增强操作、图像混合mixup数据增强操作、水平翻转、裁剪、缩放处理。
9.根据权利要求6所述的方法，其特征在于，所述目标检测模型的训练过程包括：采用低秩更新的方法对所述目标检测模型的全连接层、嵌入层和卷积层进行参数调整的步骤。
10.一种行为检测装置，其特征在于，所述装置包括：
11.一种电子设备，其特征在于，所述电子设备包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
12.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9任一项所述的行为检测方法。
13.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在被处理器执行时实现权利要求1至9中任一项所述的行为检测方法。
