本发明属于手写字符识别，具体设计一种融合鲁棒nmf和多尺度cnn的手写气象报表识别方法。
背景技术：
1、气象资料是留存最长的历史资料之一，系统的气象观测有几百年的历史，记录温度、气压、雨量、湿度等气象变化的气象报表也应运而生。建设数字气象档案馆，是新时代气象工作的重要任务之一。气象档案数字化的关键是手写字符识别。早期，研究者们多使用机器学习等传统方法进行字符识别工作，例如利用模板匹配法先对每一类别制作模板，再将文本分割后的字符与每个模板进行平方差、相关系数等匹配，最后确定类别。
2、近年来，人工智能迅猛发展，深度学习技术在图像识别领域被广泛应用。卷积神经网络(convolutional neural networks,cnn)是深度学习领域最重要的网络之一。cnn是一种能够从具有卷积结构的数据中提取特征的前馈神经网络。与传统的特征提取方法不同，cnn不需要手动提取特征。
3、虽然传统方法和深度学习都在字符识别方面有许多研究，但在手写档案数字化问题中依然存在挑战。档案资料不同于其他手写材料，由于年代久远、保存条件有限，档案中许多纸张会出现不同程度的变质，字迹变淡，模糊不清。而且，每个人的书写习惯、用笔方式不同，书写的字符差异较大。以上原因都导致手写档案资料的图像噪声大，特征难以有效提取，加大了识别难度。
技术实现思路
1、本发明主要为了克服现有技术的不足，提供了一种融合鲁棒nmf和多尺度cnn的手写气象报表识别方法。该方法能够充分利用原图信息，消除噪声对图像的影响，更好地捕获手写字符的特征信息。
2、本发明是通过以下技术方案实现的：
3、一种融合鲁棒nmf和多尺度cnn的手写气象报表识别方法，包括以下步骤：
4、步骤1、获取手写的气象报表的气象资料，首先对手写的气象报表进行拍照/扫描，然后对所得的图像进行预处理：
5、步骤1.1、定位气象报表中的单元格图像；
6、步骤1.2、对单元格图像进行灰度化和二值化处理；
7、步骤1.3、对单元格图像中的各手写字符按序进行图像分割，获得单元格图像中带有顺序属性的各手写字符的矩形图片，并识别其中的小数点字符位置；
8、步骤2、构建分类器和重构器相融合的手写数字识别模型；
9、步骤3、基于步骤2的手写数字识别模型，将手写气象报表的手写数字数据识别出来。
10、在上述技术方案中，所述气象报表是制式的表格，表格的各单元格中是手写的数字数据。
11、在上述技术方案中，步骤1.1中，通过调整opencv开源库中canny、houghlinesp等函数进行霍夫变换函数，来检测手写气象报表的边缘及倾斜角度，提取报表中的直线，沿着直线进行裁剪，进而裁剪得到报表中的手写数字数据所在的每一个单元格的矩形区域图像。
12、在上述技术方案中，步骤1.3中，采用opencv库中findcontours函数识别经步骤1.2处理后的单元格图像中的手写数字数据中的各字符的轮廓；
13、根据识别出的字符轮廓，按照x轴方向顺序对单元格图像进行字符分割并按顺序存储在一个列表中；
14、然后使用opencv库中的boundingrect函数来获取各字符轮廓的外接矩形的坐标、宽和高信息，根据这些信息，即可截取获得单元格图像中带有顺序属性的各手写字符的矩形图片。
15、在上述技术方案中，步骤1.3中，一个单元格图像的手写数字数据中同时存在着数字字符和小数点字符，设置小数点字符的判断规则：首先找到单元格图像中的最大的字符轮廓外接矩形面积和最小的字符轮廓外接矩形面积，如果最小的字符轮廓外接矩形面积和最大的字符轮廓外接矩形面积满足下式(1)，则判断该最小的字符轮廓外接矩形面积所对应的字符即为小数点字符；
16、5×areamin<areamax (1)
17、其中areamin为最小的字符轮廓外接矩形面积，areamax为最大的字符轮廓外接矩形面积。
18、在上述技术方案中，步骤2包括以下步骤：
19、步骤2.1、构建分类器
20、分类器fi采用多尺度卷积神经网络模型，分类器fi目标域为t，利用si和x在训练集上训练，并输出预测标签，x为图信息矩阵，si为图信息矩阵集合，i为分类次数。当分类器训练稳定后，矩阵上的梯度信息agrad用来进一步更新信息，通过对损失函数l反向求导得到公式(2)，其中ti∈t，o表示目标节点，表示反向求导；
21、
22、步骤2.2、构建重构器
23、基于鲁棒非负矩阵分解算法，构建重构器gi，用于学习图像的低维潜在空间特征，重构器gi的优化目标j为公式(3)
24、gi＝j(u,v)＝||agrad-uv||21+α(‖u‖21+‖v‖21)+β‖vξ‖1
25、s.t.,u≥0,v≥0 (3)
26、其中，可分解为a≈uv，ξ＝pλ1/2，λ是对角矩阵，p是特征向量，‖.‖21为l21范数，‖.‖1为l1范数，α和β为超参数；
27、利用公式(3)得到的u、v，经过计算生成重构矩阵供分类器下一次分类使用；
28、步骤2.3、将分类器和重构器相融合构建手写数字识别模型，该模型训练方法表示为公式(4)，式中，ci表示第i次迭代的分类结果，*表示分类器和重构器相互迭代、相互更新的过程；
29、ci＝fi*gi (4)
30、模型整体训练过程通过agrad和将分类器fi重构器gi相关联；重复k次后，分类器的输出就是该模型的最后结果。
31、在上述技术方案中，在步骤3中，将步骤1获得的手写气象报表的各单元格图像中带有顺序属性的各手写字符的矩形图片，按顺序输入至步骤2的手写数字识别模型中，从而按顺识别出各手写字符；再根据步骤1中识别出的小数点字符位置信息，将小数点字符添加进对应的位置，最终组合成完成的手写数字数据。
32、本发明的优点和有益效果为：
33、本发明可以通过图像预处理和神经网络模型，对气象手写气象档案的数据进行识别。该发明有效节约了人工成本，提高了历史气象档案扫描图像成果的应用能力和应用效率，进一步推动了档案工作的数字化转型。
1.一种融合鲁棒nmf和多尺度cnn的手写气象报表识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的手写气象报表识别方法，其特征在于：所述气象报表是制式的表格，表格的各单元格中是手写的数字数据。
3.根据权利要求1所述的手写气象报表识别方法，其特征在于：步骤1.1中，通过调整opencv开源库中canny、houghlinesp等函数进行霍夫变换函数，来检测手写气象报表的边缘及倾斜角度，提取报表中的直线，沿着直线进行裁剪，进而裁剪得到报表中的手写数字数据所在的每一个单元格的矩形区域图像。
4.根据权利要求1所述的手写气象报表识别方法，其特征在于：步骤1.3中，采用opencv库中findcontours函数识别经步骤1.2处理后的单元格图像中的手写数字数据中的各字符的轮廓；
5.根据权利要求1所述的手写气象报表识别方法，其特征在于：步骤1.3中，一个单元格图像的手写数字数据中同时存在着数字字符和小数点字符，设置小数点字符的判断规则：首先找到单元格图像中的最大的字符轮廓外接矩形面积和最小的字符轮廓外接矩形面积，如果最小的字符轮廓外接矩形面积和最大的字符轮廓外接矩形面积满足下式(1)，则判断该最小的字符轮廓外接矩形面积所对应的字符即为小数点字符；
6.根据权利要求1所述的手写气象报表识别方法，其特征在于：步骤2包括以下步骤：
7.根据权利要求1所述的手写气象报表识别方法，其特征在于：在步骤3中，将步骤1获得的手写气象报表的各单元格图像中带有顺序属性的各手写字符的矩形图片，按顺序输入至步骤2的手写数字识别模型中，从而按顺识别出各手写字符；再根据步骤1中识别出的小数点字符位置信息，将小数点字符添加进对应的位置，最终组合成完成的手写数字数据。
