本发明属于计算机视觉和深度学习，具体地，涉及一种基于融合坐标系时空图卷积网络的红外视频跌倒检测方法。
背景技术：
1、视频跌倒检测是指通过技术手段自动检测视频数据中人体发生的跌倒事件，并发出警报或采取相应措施的过程。人体跌倒检测在保障老年人、独居者和病人的安全中具有重要意义。传统视频跌倒检测多基于可见光视频设计算法，通过处理分析视频中的人体姿态和运动轨迹来识别跌倒事件。这些方法通常包含视频预处理、人体检测、姿态估计、特征提取和跌倒事件识别等技术模块。
2、然而，在处理不同场景和光照条件下的视频数据时，现有方法的鲁棒性和泛化能力较弱，容易产生误检和漏检现象。同时，可见光视频在实际应用过程中存在隐私泄露的风险。
技术实现思路
1、针对现有基于深度学习的人体跌倒检测方法的问题，本发明的目的是提供一种基于融合坐标系时空图卷积网络的红外视频跌倒检测方法，此方法能通过对人体骨架关键点进行精简重排，更好地平衡方法的检测精度和运算成本；通过融合直角坐标系与极坐标系信息，实现骨架信息多维度特征提取；利用基于时空图卷积跌倒检测网络构建的动作检测模型对红外视频中人体的跌倒动作进行识别判断，避免背景信息干扰且达到保护隐私目的。
2、为了达到上述目的，本发明提供了基于融合坐标系时空图卷积网络的红外视频跌倒检测方法，包括以下步骤：
3、步骤s1，对红外人体视频进行降采样以获得红外人体视频帧序列；
4、步骤s2，对所述红外人体视频帧序列进行图像增强处理，获得增强后的红外视频帧序列；
5、步骤s3，对所述增强后的红外视频帧序列进行人体骨架关键点数据提取；
6、步骤s4，对提取得到的人体骨架关键点数据进行预处理，得到直角坐标系和极坐标系下的人体骨架关键点序列；
7、步骤s5，利用基于时空图卷积网络构建的跌倒动作分类检测模型对所述人体骨架关键点序列进行处理，获得融合直角坐标系和极坐标系下的人体跌倒检测结果，其中，所述人体跌倒检测结果表示人体跌倒或未跌倒。
8、可选地，所述步骤s1包括：将红外人体视频按特定间隔抽帧为固定数量的图片帧序列作为红外人体视频帧序列，其中所述特定间隔为可动态调整的视频帧率与目标帧率的比值取整。
9、可选地，所述步骤2包括以下步骤：利用所述红外视频帧序列中的原始单通道图像，通过直方图均衡化得到单通道的对比度增强图像，以及通过拉普拉斯锐化方法得到单通道的锐化图像；将所述原始单通道图像、所述对比度增强图像、所述锐化图像分别送入视频图像的三通道，构成增强后的红外视频帧序列。
10、可选地，所述步骤3包括以下步骤：采用经过训练的人体姿态估计神经网络模型提取人体骨架关键点数据；其中，所述人体姿态估计神经网络用于检测出输入的图像或视频帧中的人体并预测所检测出的人体的骨架关键点。
11、可选地，所述人体骨架关键点数据包括头部关键点的坐标和其它骨架关键点的坐标，所述头部关键点的坐标由左右眼关键点、左右耳关键点和鼻子关键点的坐标根据重心融合，所述其它骨架关键点包括左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝和右踝。
12、可选地，所述人体骨架关键点数据包括直角坐标系下的骨架关键点位置数据，所述步骤4包括以下步骤：对所述人体骨架关键点数据进行坐标系转换，将直角坐标系下的骨架关键点位置数据转换为极坐标系下的骨架关键点位置数据，得到直角坐标系和极坐标系下的骨架关键点位置数据；将直角坐标系下骨架关键点位置数据中的坐标值进行归一化，得到人体骨架关键点序列的直角坐标表示；将极坐标系下骨架关键点位置数据中的半径值进行归一化，得到人体骨架关键点序列的极坐标表示。
13、可选地，所述步骤5的跌倒动作分类检测模型包括双流时空图卷积网络模型；其中：所述双流时空图卷积网络模型包含直角坐标系下的空间特征提取模块与时间特征提取模块、极坐标系下的空间特征提取模块与时间特征提取模块，特征分类单元以及决策融合单元，其中，所述直角坐标系下的空间特征提取模块和所述极坐标系下的空间特征提取模块分别用于基于所述人体骨架关键点序列提取直角坐标系和极坐标系下的人体骨架空间特征；所述直角坐标系下的时间特征提取模块和所述极坐标系下的时间特征提取模块分别用于基于所述人体骨架关键点序列提取直角坐标系和极坐标系下的人体骨架时序特征；所述特征分类单元和所述决策融合单元用于根据所述直角坐标系和极坐标系下的人体骨架空间特征及人体骨架时序特征，进行跌倒判断。
14、可选地，所述的空间特征提取模块包括空间感受野通道和时间感受野通道；其中：所述空间感受野通道包括空间通道独立的自适应邻接矩阵，用于与表示人体骨架关键点序列的矩阵相乘，得到聚合不同空间通道的骨架特征；所述时间感受野通道包括时间通道独立的自适应邻接矩阵，用于与表示人体骨架关键点序列的矩阵相乘，得到聚合不同时间通道的骨架特征；所述人体骨架空间特征包括所述聚合不同空间通道的骨架特征和所述聚合不同时间通道的骨架特征。
15、可选地，所述时间特征提取模块包括原始特征提取通道、稀疏特征提取通道，以及池化特征提取通道；其中：所述原始特征提取通道包括卷积核为1×1的标准卷积，用于提取原始时序信息；所述稀疏特征提取通道包括卷积核为1×1的标准卷积和卷积核为9×1的标准卷积，用于提取稀疏抽样时序信息；所述池化特征提取通道包括卷积核为1×1的标准卷积和最大池化层。
16、可选地，所述特征分类单元用于确定人体姿态属于各个预设动作类别的概率，所述决策融合单元将特征分类单元输出的每个预设动作类别的概率进行加权求和，以生成并输出最终的人体跌倒检测结果。
17、经由上述的技术方案可知，现有技术相比，本发明公开提供了基于融合坐标系时空图卷积网络的红外视频跌倒检测方法，具有如下有益的技术效果：
18、本发明的一些实施例通过对红外视频图像进行降采样与图像增强预处理，有助于提高红外图像的人体骨架提取精度，避免背景信息干扰，保护隐私。
19、本发明的一些实施例通过对人体骨架关键点数据在直角坐标系与极坐标系下进行预处理，完成坐标系融合与归一化，提升了数据表达能力和模型的泛化能力，有助于提高特征信息关联性和动作分类的准确性。
20、本发明的一些实施例通过设计空间特征提取模块和时间特征提取模块，分别聚合不同空间通道和时间通道的骨架特征，提升了特征提取的多样性和全面性。
21、本发明的一些实施例通过设置稀疏特征提取通道和池化特征提取通道，可以达到增强稀疏时序信息提取能力和多尺度时序特征的获取，从而提高红外视频下的动作识别精度。
22、本发明的一些实施例可以适用于近红外和热红外视频的人体跌倒检测，具有泛化性和普适性。
23、本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
24、下面通过附图和实施例，对本发明的技术方案作进一步的详细描述。
1.一种基于融合坐标系时空图卷积网络的红外视频跌倒检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述步骤s1包括：
3.根据权利要求1所述的方法，其特征在于，所述步骤2包括以下步骤：
4.根据权利要求1所述的方法，其特征在于，所述步骤3包括以下步骤：
5.根据权利要求4所述的方法，其特征在于，所述人体骨架关键点数据包括头部关键点的坐标和其它骨架关键点的坐标，所述头部关键点的坐标由左右眼关键点、左右耳关键点和鼻子关键点的坐标根据重心融合，所述其它骨架关键点包括左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝和右踝。
6.根据权利要求1所述的方法，其特征在于，所述人体骨架关键点数据包括直角坐标系下的骨架关键点位置数据，所述步骤4包括以下步骤：
7.根据权利要求1所述的方法，其特征在于，所述步骤5的跌倒动作分类检测模型包括双流时空图卷积网络模型；其中：
8.根据权利要求7所述的方法，其特征在于，所述的空间特征提取模块包括空间感受野通道和时间感受野通道；其中：
9.根据权利要求7所述的方法，其特征在于，所述时间特征提取模块包括原始特征提取通道、稀疏特征提取通道，以及池化特征提取通道；其中：
10.根据权利要求7所述的方法，其特征在于，所述特征分类单元用于确定人体姿态属于各个预设动作类别的概率，所述决策融合单元将特征分类单元输出的每个预设动作类别的概率进行加权求和，以生成并输出最终的人体跌倒检测结果。
