本发明涉及智能识别技术,具体涉及一种库房中盘装产品位置智能识别系统。
背景技术:
1、对于生成电路板的加工型企业,由于其电路板上需要焊接各种样式的电子元件,比如电阻器、电容器、电感、二极管、三极管和ic芯片等,而这些电子元器件又包括很多种类型,比如电阻器,每种阻值就代表一种型号,为了满足不同需要的电路板生产,企业需要存储库房储备大量的这些电子元件。为了方便电子元件的存储,目前,生产厂家普遍将电子元件放置在开设有若干与电子元件尺寸相匹配的凹槽的胶带上,并将其卷绕在盘装辊上,形成盘装产品,购买这些产品的客户在生产电路板时将其吸附出来焊接在电路板上。
2、由于电阻器、电容器、电感、二极管、三极管和ic芯片等电子元件附着在胶带上,被卷成盘装产品,外形差异不大,对于生产电路板的厂家而言,对库房就要求比较高,他们在对这些产品入库时,不仅需要记录每卷产品上附着的电子元件类型(电容器或者电感)、型号(比如电阻,每个阻值规格代表一个型号)和数量,还要记录这款产品位于货架的位置,以便于后续生产时提货。
3、目前库房中的货架的规格是相同的,即每个货架以及其上的每个格子都是一样的,若对库房不是特别熟悉的工人,在提取盘装产品时,需要花费一定时间才能取到产品,使得提货效率低。另外,由于部分盘装产品上容纳有上千颗电子元件,若一次生产用不完,放回时不能自选位置放置,需要库房再次登记后才能存放在库房记录的货架位置,以方便下次提货。
技术实现思路
1、针对现有技术中的上述不足,本发明提供的库房中盘装产品位置智能识别系统解决了现有技术中货架不能自动提示待提取的盘装产品的位置,使得提货效率低的问题。
2、为了达到上述发明目的,本发明采用的技术方案为:
3、提供一种库房中盘装产品位置智能识别系统,其包括:
4、若干货架,每个货架侧壁上均设置有第一闪光灯,所述货架通过置物板分割成多层,每层通过横向隔板和纵向隔板分割成若干容纳盘装产品的容纳槽,每个容纳槽的侧壁和内部分别设置有第二闪光灯和重力传感器;
5、若干摄像头,其数量与货架相同,每个货架正上方的库房顶壁均设置有滑轨,所述滑轨上安装有带着摄像头平移和升降的升降平移机构;
6、控制模块,每个货架上均设置有一个,其与对应货架的摄像头、升降机构、第一闪光灯及所有的第二闪光灯和重力传感器连接;
7、控制模块根据重力传感器上传的重力信号,启动升降平移机构带着摄像头平移和升降,使摄像头正对上传重力信号的重力传感器所在的容纳槽,并启动摄像头拍摄盘装产品图像;
8、控制模块接收到服务器发送的取货需求时,开启第一闪光灯和被提取盘装产品所在容纳槽的第二闪光灯;当对应重力传感器的重力信号消失时,关闭第一闪光灯和第二闪光灯;
9、服务器,其与所有的控制模块连接,用于接收控制模块上传的盘装产品图像,提取盘装产品图像中电子元件的轮廓图像和轮廓尺寸,并将轮廓图像和轮廓尺寸输入已训练的神经网络,识别得到电子元件的类型和型号;并将电子元件的类型和型号与上传盘装产品图像的控制模块进行绑定;
10、服务器接收提货人员上传的提货需求时,查询与提货需求中的电子元件类型和型号相关联的控制模块,并向控制模块发送取货需求。
11、进一步地,所述升降平移机构包括轮毂电机和安装块,所述安装块通过轴承安装于轮毂电机的输出轴上;所述安装块的下表面固定安装有电动转台,所述电动转台上连接有一根l型安装杆,l型安装杆的另一端固定有一根电动推杆,所述摄像头安装于电动推杆的末端;
12、所述轮毂电机、电动转台和电动推杆均与其配合的货架上的控制模块电连接;所述滑轨包括长度大于等于货架长度的“匚”字形滑板,滑板的两端设置有封板,所述滑板的顶部横板固定于库房顶壁上,底部横板的侧面固定有一块挡板,所述挡板和滑板配合形成轮毂电机滑动的滑槽。
13、进一步地,提取盘装产品图像中电子元件的轮廓图像和轮廓尺寸的方法包括:
14、a1、读取盘装产品上容纳电子元件的胶带图像,搜索盘装产品图像中与胶带图像相似的图像区域,并对盘装产品图像进行裁剪,保留与胶带图像相似的图像区域作为待识别图像;
15、a2、对待识别图像进行滤波处理,之后对滤波后的图像进行图像增强操作,得到去噪和增强后的预处理图像;
16、a3、采用边缘检测算法对预处理图像进行边缘检测,得到多个连通域,根据连通域中像素点数量,保留像素点数量间的差异小于预设阈值的多个连通域作为多个电子元件的轮廓图像;
17、a4、根据每个轮廓图像,提取出电子元件的轮廓线条,并通过计算轮廓上相邻像素点之间的距离得到每个轮廓图像的周长,并将其作为轮廓尺寸。
18、进一步地,对待识别图像进行滤波处理的表达式为:
19、
20、
21、
22、其中,为滤波后图像 q在位置的像素值;z为归一化因子;为待识别图像 p在位置的像素值; i为在 x轴上相对坐标 x的偏移量; j为在 y轴上相对坐标 y的偏移量;为高斯核函数; σ是高斯核的标准差; e为自然对数;为正则化权重;为正则化参数;为待识别图像 p在( x+ i, y+ j) 位置的梯度;为梯度向量的 l2 范数;为以为中心的局部区域的像素值方差;为待识别图像 p的平均方差;为常数。
23、进一步地,已训练的神经网络为卷积神经网络,对其进行训练的方法包括:
24、b1、获取样本集,并将样本集划分为训练集和验证集;所述样本集包含若干具有标注类别和尺寸的电子元件的轮廓图像样本;
25、b2、对训练集和验证集中的所有电子元件的轮廓图像样本进行预处理,预处理至少包括滤波处理和图像增强操作;
26、b3、采用预处理后的训练集对卷积神经网络进行训练,通过前向传播计算卷积神经网络的输出与真实标签之间的差异,并通过反向传播更新网络权重,以最小化损失函数;
27、b4、采用预处理后的验证集对训练的卷积神经网络进行验证,当卷积神经网络在验证集上的性能达到预设性能指标时,则完成卷积神经网络的训练,否则,返回步骤b3;
28、所述卷积神经网络包括至少一个用于提取图像特征的卷积层,至少一个用于非线性映射的激活层,至少一个用于降低特征维度的池化层以及两个分别对尺寸和类别进行分类决策的全连接层;卷积层、激活层、池化层和全连接层依次连接。
29、进一步地,所述损失函数的表达式为:
30、
31、
32、
33、
34、其中,为总损失函数;分别为权重参数;为基于分类难度的损失函数;为交叉熵损失函数;为分类损失函数; c为电子元件的总类别数; c为类别变量; k为训练集中电子元件轮廓图像样本的索引; n为训练集中电子元件轮廓图像样本的总数量;为第 k个电子元件轮廓图像样本属于类别 c的预测概率;为第 k个电子元件轮廓图像样本属于类别 c的真实标签;为动态调整因子;为第 k个电子元件轮廓图像样本中的第 m个特征; m为电子元件轮廓图像样本中包括的特征总数量; m为特征变量;为取绝对值;为第 k个电子元件轮廓图像样本的难度系数; τ为预设难度系数;为样本分类准确性;为指数函数; γ为调节因子。
35、进一步地,电子元件为电阻器、电容器、电感、二极管、三极管和ic芯片中的一种,每种电子元件包括若干种型号。
36、进一步地,每个容纳槽的底面还设置有与微型电机连接,并在摩擦力作用下带着盘装产品旋转的摩擦轮;所述微型电机与其所在货架上的控制模块电连接;所述横向隔板的高度小于盘装产品的半径长度;
37、所述盘装产品包括中心卷辊,所述中心卷辊的长度等于胶带的宽度,中心卷辊的两端等间距固定连接有以中心卷辊的中心轴线为圆心的扇形板;相邻两块扇形板之间形成观测视窗,胶带在中心卷辊上的卷绕起点位于所述观测视窗所在区域;所述电子元件等间距地布置在胶带上的卡槽中。
38、进一步地,库房中盘装产品位置智能识别系统还包括计算盘装产品的胶带上附着的电子元件总数量:
39、控制模块根据重力传感器上传的重力信号,启动微型电机带着盘装产品旋转,启动升降平移机构使摄像头位于重力传感器所对应容纳槽正前方,摄像头首先从容纳槽正前方采集盘装产品图像,之后通过电动转台带着摄像头旋转,采集旋转状态下的盘装产品多个角度下的图像;将采集的图像通过控制模块发送给服务器;
40、服务器对盘装产品多个角度的图像及从容纳槽正前方采集的盘装产品图像进行滤波处理和图像增强操作,之后采用图像增强后的图像对盘装产品进行三维重建,得到盘装产品的三维图形;采用边缘检测算法对三维图形的侧面进行检测,得到侧面轮廓图像,并通过计算轮廓图像上相邻像素点之间的距离得到盘装产品上胶带的长度;
41、服务器根据从容纳槽正前方采集的盘装产品图像的增强图像,采用边缘检测算法对其进行边缘检测,得到多个连通域,根据连通域中像素点数量,保留像素点数量间的差异小于预设阈值的多个连通域,并计算相邻两个连通域的距离作为胶带上相邻两颗电子元件的间距;
42、采用胶带的长度和相邻两颗电子元件的间距,计算得到胶带上的电子元件总数量,并将电子元件的总数量与上传盘装产品图像的控制模块进行绑定。
43、进一步地,所述边缘检测算法为canny算法、sobel算子或prewitt算子。
44、与现有技术相比,本发明的有益效果为:
45、在产品出口时,提货人员将其需要提货的产品和型号发送给服务器,服务器可以查询其内部存储的信息,找到其需要提取的货物的位置,并将这个信息发送给对应的控制模块,控制模块收到信息后可以准确的知道待提取货物的容纳槽的位置,之后启动货架上的第一闪光灯及容纳槽上的闪光灯,这样提货人员进入库房后,可以通过第一闪光灯迅速的找到对应货架,之后再通过货架上的第二闪光灯,找到待提取的盘装产品。通过该种方式对盘装产品位置的定位,可以帮助库房人员快速的找到需要的产品,提高提货效率。
46、本方案的智能识别系统在感知重力信息后,表明此处有盘装产品放入,之后再启动摄像头进行图像采集,通过对图像分析可以先得到盘装产品上电子元件的轮廓图像及轮廓尺寸,之后再结合神经网络,可以准确地知道放置在重力传感器所在容纳槽的盘装产品的类型和型号。
47、本方案通过上述方式可以实现产品的智能入库,产品在入库时,相关人员不需要在特定位置去放置产品,可以将其放置在货架的任意空闲位置,重力传感器、控制模块和服务器的配合就能够对盘装产品上电子元件的类型和型号进行识别,并进行记录,可以实现智能化入库,这样对相关人员也不需要有比较强的识别电子元件的专业知识,提高了入库效率。
1.库房中盘装产品位置智能识别系统,其特征在于,包括:
2.根据权利要求1所述的库房中盘装产品位置智能识别系统,其特征在于,所述升降平移机构包括轮毂电机和安装块,所述安装块通过轴承安装于轮毂电机的输出轴上;所述安装块的下表面固定安装有电动转台,所述电动转台上连接有一根l型安装杆,l型安装杆的另一端固定有一根电动推杆,所述摄像头安装于电动推杆的末端;
3.根据权利要求1所述的库房中盘装产品位置智能识别系统,其特征在于,提取盘装产品图像中电子元件的轮廓图像和轮廓尺寸的方法包括:
4.根据权利要求3所述的库房中盘装产品位置智能识别系统,其特征在于,对待识别图像进行滤波处理的表达式为:
5.根据权利要求3所述的库房中盘装产品位置智能识别系统,其特征在于,已训练的神经网络为卷积神经网络,对其进行训练的方法包括:
6.根据权利要求5所述的库房中盘装产品位置智能识别系统,其特征在于,所述损失函数的表达式为:
7.根据权利要求1-6任一所述的库房中盘装产品位置智能识别系统,其特征在于,电子元件为电阻器、电容器、电感、二极管、三极管和ic芯片中的一种,每种电子元件包括若干种型号。
8.根据权利要求1-6任一所述的库房中盘装产品位置智能识别系统,其特征在于,每个容纳槽的底面还设置有与微型电机连接,并在摩擦力作用下带着盘装产品旋转的摩擦轮;所述微型电机与其所在货架上的控制模块电连接;所述横向隔板的高度小于盘装产品的半径长度;
9.根据权利要求8所述的库房中盘装产品位置智能识别系统,其特征在于,还包括计算盘装产品的胶带上附着的电子元件总数量:
10.根据权利要求3或9所述的库房中盘装产品位置智能识别系统,其特征在于,所述边缘检测算法为canny算法、sobel算子或prewitt算子。