本发明涉及翻车机轨道异物检测与清除系统，具体涉及一种基于时空分离的智能检测与自动清除系统和方法。
背景技术：
1、翻车机系统广泛应用于煤炭、化工等行业的运载装卸，通常与卸车线上的其他设备协同工作。然而，在传统的翻车机自动运行过程中，常常面临迁车台对位不正等问题。迁车台对位不正的主要原因在于轨道上存在异物，导致行走轮经过异物时变频器波动，引起制动打滑，进而使轨道与重车线、空车线对位不准。目前，清除异物的方法主要依赖实时监控或机器视觉进行检测，由人工清理异物。由于翻车机通常在大粉尘、严重水汽等恶劣环境下工作，传统的视频监控系统存在报警精度差、反应时间长等缺陷；使用常规机器视觉进行检测时需要大量的异物标注图片进行特征提取，而某些异物类别只有少量数据；此外人工在恶劣环境下进行异物清除，不仅效率低下，而且具有非常大的危险性。
技术实现思路
1、鉴于现有技术的局限，本发明旨在通过时空分离技术提升翻车机轨道异物检测的质量与精度，同时在检测结果的基础上实现自动异物清除，从而解决人工巡检与清除异物带来的效率低下等问题。
2、为解决上述问题，本发明提供了一种基于时空分离的翻车机轨道异物检测与清除系统和方法。
3、一种基于时空分离的翻车机轨道异物检测与清除系统，包括图像采集模块、图像传输单元、机器视觉学习模块、图像数据库、异物检测单元、信息传输模块、控制模块以及执行模块；
4、通过机器视觉学习模块进行异物检测模型的构建与训练；机器视觉学习模块首先构建神经网络模型，并且利用图像数据库中连续时间下的正常事件训练离散神经网络模型，促使基于时空分离的神经网络模型能够很好的预测正常工作状态的翻车机轨道；
5、当离线神经网络模型训练好后，将训练好的异物检测模型加载到异物检测单元；
6、图像采集模块用于拍摄并采集目标轨道的图像，图像传输单元分别与轨道图像采集装置和异物检测单元相连，实时接收图像信息并进行异物检测；
7、异物检测单元基于采集到的轨道图像与预测的正常事件进行rgb对比，进而得到异物位置信息；
8、当异物检测单元检测到异物时，通过信息传输模块将位置信息传递给控制模块，控制模块分析位置信息指导执行机构进行异物清除。
9、所述的异物检测与清除系统，机器视觉学习模块用于进行离线时空分离神经网络模型的训练，其通过空间自编码器与时间自编码器的双流结构，在空间特征和时间特征中同时学习特征规律；然后将编码器学习到的特征送入像素混洗层打破通道顺序，提取更丰富的特征；并在解码层中通过深度k均值聚类策略强制空间与时间编码器提取紧凑表示，预测轨道的正常工作状态；最后对训练的模型进行测试，根据测试结果不断的调整训练参数，优化网络结构，最终使模型能够满足实际要求。
10、所述的异物检测与清除系统，所述模型共有36层，空间领域与时间领域各包含18层，其中有6个卷积层、6个激活层和6个注意力层；根据图像数据，首先对数据输入做归一化处理，将图片大小调整到256×256，然后对同一空间的图片数据利用9层空间自编码器做特征提取，对同一空间不同时间的12张图片数据利用9层时间自编码器做特征提取；对于初始化的255×255大小3通道的图片经过卷积层的卷积滤波器处理后，变成128×128×64的特征作为激活层激活函数的输入；然后将激活函数的特征送入注意力层注意力模块对每个通道相同位置对应的点求方差，得到通道注意力权重：每个卷积层以2为步长进行降采样处理，即对每个不重叠的2×2区域进行降采样，筛选出该区域的最大值作为输出；对于下一个卷积层，过滤通道数翻倍，最终得到32×32×256的输出；对空间自编码器与时间自编码器得到的空间特征与时间特征引入深度k-means，其中k表示簇的数量，最小化数据表示与聚类中心之间的关系，迫使空间编码器与时间编码器提取共同的因子；接着将空间特征与时间特征送入解码层，经过反卷积处理，得到64×64×128的特征，作为像素混洗层的输入，再经过三轮解码器框架，输出预测的翻车机轨道正常作业数据。
11、所述的异物检测与清除系统，当翻车机工作时，首先利用安装在轨道旁边的图像采集装置中的ccd相机捕获轨道数据，对于每一帧图像调整大小为255×255；同时加载预训练的异物检测模型，通过采集图像的输入预测正常工作的轨道图像，与采集的图像数据进行rgb残差对比；如果图像中存在异物，则能够通过rgb残差得到异物的位置，并将位置信息送入控制模块，如果不存在异物，则继续处理下一区域图像。
12、所述的异物检测与清除系统，信息传输模块、控制模块与执行模块统筹进行轨道异物的实时清理，信息传输模块将实时监测到的异物位置信息送入控制模块，控制模块对传输的位置信息进行处理，指挥执行模块在x轴，y轴方向达到同一位置，进而控制z轴的升降机构通过测距传感器向下移动距离h进行异物抓取，将异物移动到异物放置位置，完成本次异物的清除。
13、一种利用任一所述系统进行轨道异物检测与清除的方法，所述方法包括以下步骤：
14、步骤1：将轨道划分成多个检测范围，避免拍摄设备记录过多无用信息影响检测效率；
15、步骤2：构建异物检测模型，学习正常训练集中的规律性，构建空间信息与时间信息的双流结构，进而获得训练好的异物检测模型；
16、步骤3：将训练好的预测模型加载到异物检测单元；
17、步骤4：将采集到的轨道图像送入异物检测单元，与预测的正常事件进行对比，实现轨道的异物检测功能；
18、步骤5：一旦所述异物检测单元检测到轨道图像中出现异物，则将异物位置信息送入控制模块。
19、步骤6：控制模块根据位置信息控制执行模块移动到异物区域，对异物进行抓取移除。
20、所述的异物检测与清除方法，所述步骤1包括图像预处理，通过对比四种最普通的去噪滤波算法，最终确定使用中值滤波。
21、所述的异物检测与清除方法，所述步骤2包括以下步骤：
22、步骤2-1、根据不同区域采集的图像数据，对其进行归一化处理；
23、步骤2-2、将时空信息分为时间与空间两个子模块；
24、步骤2-3、对每张图片分别在时间与空间领域利用18层神经网络做特征处理，包括6个卷积层、6个激活层和6个注意力层；
25、步骤2-4、对初始化的图像进行多重卷积滤波处理；
26、步骤2-5、将处理后的图像作为下一层激活函数的输入；
27、步骤2-6、对于下一层重复步骤2-4和2-5，直至获取深度特征图；
28、步骤2-7、将编码器得到的空间信息流与时间信息流送入深度k均值聚类策略进行紧凑提取；
29、步骤2-8、将优化的空间特征图与时间特征图送入注意力模块，自动分配重要性权重。
30、所述的异物检测与清除方法，所述步骤4通过学习预测rgb残差，对采集到的轨道图片进行异物标注。
31、本专利依靠离线部分中基于时空分离的自编码器结构训练深度模型，进而以图像的rbg差异为输出对翻车机轨道进行异物检测。通过数据库中大量正常事件训练出能预测正常工作状态下的深度网络模型。当翻车机工作时，摄像头捕获图像数据，将数据作为输入传输到神经网络，通过rgb色差进行比对，如果存在差异则表明该区域存在异物，并将区域的位置信息传输给控制模块，指导执行模块进行异物清除。如果不存在异物则继续处理下一区域图像。
32、与现有的技术相比，本发明方案的优点在于引入空间信息与时间信息的双流结构，通过预测轨道正常工作状态对轨道进行实时异物检测与清除，避免常规深度网络由于缺乏异物标注信息而造成检测不准等情况。
1.一种基于时空分离的翻车机轨道异物检测与清除系统，其特征在于，包括图像采集模块、图像传输单元、机器视觉学习模块、图像数据库、异物检测单元、信息传输模块、控制模块以及执行模块；
2.根据权利要求1所述的异物检测与清除系统，其特征在于，机器视觉学习模块用于进行离线时空分离神经网络模型的训练，其通过空间自编码器与时间自编码器的双流结构，在空间特征和时间特征中同时学习特征规律；然后将编码器学习到的特征送入像素混洗层打破通道顺序，提取更丰富的特征；并在解码层中通过深度k均值聚类策略强制空间与时间编码器提取紧凑表示，预测轨道的正常工作状态；最后对训练的模型进行测试，根据测试结果不断的调整训练参数，优化网络结构，最终使模型能够满足实际要求。
3.根据权利要求2所述的异物检测与清除系统，其特征在于，所述模型共有36层，空间领域与时间领域各包含18层，其中有6个卷积层、6个激活层和6个注意力层；根据图像数据，首先对数据输入做归一化处理，将图片大小调整到256×256，然后对同一空间的图片数据利用9层空间自编码器做特征提取，对同一空间不同时间的12张图片数据利用9层时间自编码器做特征提取；对于初始化的255×255大小3通道的图片经过卷积层的卷积滤波器处理后，变成128×128×64的特征作为激活层激活函数的输入；然后将激活函数的特征送入注意力层注意力模块对每个通道相同位置对应的点求方差，得到通道注意力权重：每个卷积层以2为步长进行降采样处理，即对每个不重叠的2×2区域进行降采样，筛选出该区域的最大值作为输出；对于下一个卷积层，过滤通道数翻倍，最终得到32×32×256的输出；对空间自编码器与时间自编码器得到的空间特征与时间特征引入深度k-means，其中k表示簇的数量，最小化数据表示与聚类中心之间的关系，迫使空间编码器与时间编码器提取共同的因子；同时，将空间特征与时间特征送入注意力模块，保留关键信息；接着将特征送入解码层，经过反卷积处理，得到64×64×128的特征，作为像素混洗层的输入，再经过三轮解码器框架，输出预测的翻车机轨道正常作业数据。
4.根据权利要求1所述的异物检测与清除系统，其特征在于，当翻车机工作时，首先利用安装在轨道旁边的图像采集装置中的ccd相机捕获轨道数据，对于每一帧图像调整大小为255×255；同时加载预训练的异物检测模型，通过采集图像的输入预测正常工作的轨道图像，与采集的图像数据进行rgb残差对比；如果图像中存在异物，则能够通过rgb残差得到异物的位置，并将位置信息送入控制模块，如果不存在异物，则继续处理下一区域图像。
5.根据权利要求1所述的异物检测与清除系统，其特征在于，信息传输模块、控制模块与执行模块统筹进行轨道异物的实时清理，信息传输模块将实时监测到的异物位置信息送入控制模块，控制模块对传输的位置信息进行处理，指挥执行模块在x轴，y轴方向达到同一位置，进而控制z轴的升降机构通过测距传感器向下移动距离h进行异物抓取，将异物移动到异物放置位置，完成本次异物的清除。
6.一种利用权利要求1-5任一所述系统进行轨道异物检测与清除的方法，其特征在于，所述方法包括以下步骤：
7.根据权利要求6所述的异物检测与清除方法，其特征在于，所述步骤1包括图像预处理，通过对比四种最普通的去噪滤波算法，最终确定使用中值滤波。
8.根据权利要求6所述的异物检测与清除方法，其特征在于，所述步骤2包括以下步骤：
9.根据权利要求6所述的异物检测与清除方法，其特征在于，所述步骤4通过学习预测rgb残差，对采集到的轨道图片进行异物标注。
