本发明涉及图像倾斜校正,具体而言,涉及一种扫描设备文档图像自动倾斜校正的方法、扫描设备文档图像自动倾斜校正装置、计算机可读存储介质和计算机程序产品。
背景技术:
1、扫描仪是一种影像采集装置,利用光感器件将检测到的光信号转成电信号,最终转为数字图像信息存储到计算机中。扫描仪可简单分为平板扫描仪和馈纸式扫描仪。平板扫描仪又称平台式扫描仪,每次手动放单页文档,盖上背板扫描。馈纸式扫描仪可以同时放多张纸质文档,馈纸器自动走纸扫描。填放纸张放歪或者走纸过程歪斜,产生的图像就会带倾斜角度。
2、虽然现在大部分扫描仪驱动内置自动裁切,但输出的图像仍可能是倾斜的,角度一般小于±3度。这有两个原因:1.扫描仪自动裁切时,找的边界线不够精确,裁切后仍然存在小角度的倾斜。即使找到精确边界,裁切是根据文档和背景边界线进行,并不考虑图像内文本行歪斜;2.原纸质文档,在打印机打印阶段走纸发生歪斜,使打印出的文稿文字行和纸张边缘不平行,即材料原件文字本身就是歪的。
3、扫描文档图像的倾斜角度一般不会太大,但也会影响阅读和后续的ocr等其它图像处理步骤。为了解决扫描文档图像倾斜校正的问题,不少学者针对特定场景进行了研究并提出了相应的解决方法。
4、《一种基于深度学习的档案扫描件图像自动纠偏方法》专利号:cn 114358137a。该方法是一种基于深度学习方法,其原理将文档图像倾斜角度估计优化成91个类别分类问题(0~90度共91种类别),采用增强版vgg16进行角度分类。vgg16这类cnn卷积神经网络计算量巨大,配备nvidiagpu显卡才可以达到较理想速度,普通cpu无法实用。另外,其91个类别分类,分辨倾斜角度的精度只能达到1度,无法对更细微的倾斜角度进行分辨和检测,这是由其原理限定的。
5、《基于文字检测的文档图像纠偏方法、系统、设备及介质》专利号:cn 117877038a。此方法采用百度开源库paddleocr查找文本行,paddleocr采用dbnet网络结构进行文本行检测,其本质是基于深度学习图像分割的方法,其速度略高于前一种方法。在cpu性能略低的硬件设备上运行,其速度还是不够理想。
6、《倾斜文档校正方法的研究与实现》陈子旋,浙江大学。其对带文字的图像采用概率模型和q检验法的文档倾斜校正方法。所述概率模型本质是角度直方图统计,其统计角度由连通域中心点集合估算。在计算连通域中点之前要做‘异常字’过滤。所谓异常字,就是中心偏离文本行中心线的字符。比如单词“frequen扫描设备文档图像自动倾斜校正a”中,字母“f”和“q”要过滤掉。在英文场景中,字体不同很容易字母粘连,很难把所以字母分割开。另外还有一些语言文字,如藏文、维文、阿拉伯文,根本不满足这个近似等高、等宽基本条件,所以此方法较适用于中文场景。
技术实现思路
1、本技术的主要目的在于提供一种扫描设备文档图像自动倾斜校正的方法、扫描设备文档图像自动倾斜校正装置、计算机可读存储介质和计算机程序产品,以至少解决现有技术中对扫描出的文档图像倾斜校正不准确的问题。
2、为了实现上述目的,根据本技术的一个方面,提供了一种扫描设备文档图像自动倾斜校正的方法于,包括:利用扫描设备获取文档图像;对所述文档图像进行预处理操作,得到二值图像,所述预处理操作至少包括灰度化处理和二值化处理;对所述二值图像进行形态学膨胀处理,得到膨胀图像,并提取所述膨胀图像中所有文本行对应的中心点骨架线,得到中心骨架图,所述中心点骨架线为所述文本行对应的中心点的连续线条;对所述中心骨架图进行直线拟合检测,得到直线组,所述直线组为多个文本行形成的直线集合;根据所述直线组计算目标倾斜角度,并根据所述目标倾斜角度对所述文档图像进行倾斜校正。
3、可选地,对所述文档图像进行预处理操作,得到二值图像,包括:对所述文档图像进行所述灰度化处理,得到灰度图像;采用图像二值化算法对所述灰度图像进行所述二值化处理,得到初始二值图像;根据所述初始二值图像中所有像素点对应的像素值计算像素均值;在所述像素均值大于设定阈值的情况下,对所述初始二值图像进行反色处理,得到所述二值图像;在所述像素均值小于或等于所述设定阈值的情况下,将所述初始二值图像确定为所述二值图像。
4、可选地,对所述二值图像进行形态学膨胀处理,得到膨胀图像,包括:设定膨胀结构,所述膨胀结构用于限定所述膨胀处理为水平膨胀,所述水平膨胀为在水平方向上的图像膨胀;根据所述膨胀结构对所述二值图像进行所述水平膨胀,得到所述膨胀图像。
5、可选地,提取所述膨胀图像中所有文本行对应的中心点骨架线,得到中心骨架图,包括:对所述膨胀图像逆时针旋转90°,得到竖直膨胀图像;对所述竖直膨胀图像在水平方向从左向右进行扫描,提取所述竖直膨胀图像中所有的连续黑色像素区域;计算每个所述连续黑色像素区域的中心点坐标;根据所有的所述中心点坐标得到各所述文本行对应的所述中心点骨架线;将所有的所述中心点骨架线形成的图像顺时针旋转90°,得到所述中心骨架图。
6、可选地,对所述中心骨架图进行直线拟合检测,得到直线组,包括:采用直线检测方法对所述中心骨架图进行直线检测,得到所有初始直线的起始坐标和终止坐标,所述初始直线为所述中心骨架图中初步判断为所述文本行的直线;根据各所述初始直线的所述起始坐标和所述终止坐标计算各所述初始直线对应的倾斜角度;在所述倾斜角度小于预设角度的情况下,将对应的所述初始直线确定为目标直线,并将目标直线数加1,所述目标直线数为所述目标直线的总数量;在所述倾斜角度大于或等于所述预设角度的情况下,筛除对应的所述初始直线;在所有所述初始直线对应的所述倾斜角度均完成判断且所述目标直线数为零的情况下,采用连通域方法对所述二值图像进行直线拟合检测,得到所有的所述目标直线;根据所有所述目标直线生成所述直线组。
7、可选地,在所有所述初始直线对应的所述倾斜角度均完成判断且所述目标直线数为零的情况下,采用连通域方法对所述二值图像进行直线拟合检测,得到所有的所述目标直线,包括:采用连通区域标记算法对所述二值图像进行连通区域搜索,识别出多个连通区域;对所有的所述连通区域进行连通域水平投影,得到连通域投影图;对所述连通域投影图进行水平分割,得到各所述文本行的目标范围,所述目标范围为所述文本行的上坐标和下坐标;根据所述目标范围将所有连通区域划分至对应所述文本行;将同一所述文本行的连通区域,形成所述文本行对应的连通域链;对所有的所述连通域链的中心点采用最小二乘法进行拟合,得到所有的所述目标直线。
8、可选地,根据所述直线组计算目标倾斜角度,包括:将所有所述倾斜角度由弧度转换成整数角度,所述倾斜角度是由所述弧度表示的角度;将所有的整数角度进行统计记录每个所述整数角度的出现次数,选取出现次数最多的所述整数角度,确定为目标整数角度;计算目标整数角度集合中所有所述整数角度对应所述倾斜角度的加权平均值,得到角度平均值,并将所述角度平均值确定为所述目标倾斜角度,所述目标整数角度集合为将所有所述整数角度中等于所述目标整数角度的所述整数角度形成的集合。
9、根据本技术的另一方面,提供了一种扫描设备文档图像自动倾斜校正的装置,所述装置包括:获取单元,用于利用扫描设备获取文档图像;预处理单元,用于对所述文档图像进行预处理操作,得到二值图像,所述预处理操作至少包括灰度化处理和二值化处理;膨胀单元,用于对所述二值图像进行形态学膨胀处理,得到膨胀图像,并提取所述膨胀图像中所有文本行对应的中心点骨架线,得到中心骨架图,所述中心点骨架线为所述文本行对应的中心点的连续线条;拟合单元,用于对所述中心骨架图进行直线拟合检测,得到直线组,所述直线组为多个文本行形成的直线集合;校正单元,用于根据所述直线组计算目标倾斜角度,并根据所述目标倾斜角度对所述文档图像进行倾斜校正。
10、根据本技术的再一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行任意一种所述的方法。
11、根据本技术的又一方面,提供了一种计算机程序产品,包括计算机指令,所述计算机指令被处理器执行时实现任意一种所述的方法。
12、应用本技术的技术方案,在扫描设备文档图像自动倾斜校正的方法中,首先,利用扫描设备获取文档图像;然后,对上述文档图像进行预处理操作,得到二值图像,上述预处理操作至少包括灰度化处理和二值化处理;之后,对上述二值图像进行形态学膨胀处理,得到膨胀图像,并提取上述膨胀图像中所有文本行对应的中心点骨架线,得到中心骨架图,上述中心点骨架线为上述文本行对应的中心点的连续线条;之后,对上述中心骨架图进行直线拟合检测,得到直线组,上述直线组为多个文本行形成的直线集合;最后,根据上述直线组计算目标倾斜角度,并根据上述目标倾斜角度对上述文档图像进行倾斜校正。本技术通过对文档图像进行灰度化、二值化预处理,得到文档图像的二值图像。然后,对二值图像进行水平膨胀,让文字水平方向“变胖”,从而使相邻文字粘连在一起,得到膨胀图像。对膨胀图像在水平方向从左往右扫描,提取连续黑色游程中点,得到文本行的中心点骨架线,得到中心骨架图。再次,对中心骨架图中的文本行中心骨架线进行直线拟合。根据拟合后的直线计算倾斜角度进行,得到目标倾斜角度(单位弧度)。最后根据目标倾斜角度对文档图像进行校正。相比对原图文档图像直接进行直线检测大大减少参与像素点数量,另外也使直线检测更精准,减少了其它非文字方向直线的数量。本技术解决了现有技术中对扫描出的文档图像倾斜校正不准确的问题。
1.一种扫描设备文档图像自动倾斜校正的方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,对所述文档图像进行预处理操作,得到二值图像,包括:
3.根据权利要求1所述的方法,其特征在于,对所述二值图像进行形态学膨胀处理,得到膨胀图像,包括:
4.根据权利要求1所述的方法,其特征在于,提取所述膨胀图像中所有文本行对应的中心点骨架线,得到中心骨架图,包括:
5.根据权利要求1所述的方法,其特征在于,对所述中心骨架图进行直线拟合检测,得到直线组,包括:
6.根据权利要求5所述的方法,其特征在于,在所有所述初始直线对应的所述倾斜角度均完成判断且所述目标直线数为零的情况下,采用连通域方法对所述二值图像进行直线拟合检测,得到所有的所述目标直线,包括:
7.根据权利要求5所述的方法,其特征在于,根据所述直线组计算目标倾斜角度,包括:
8.一种扫描设备文档图像自动倾斜校正的装置,其特征在于,所述装置包括:
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的方法。
10.一种计算机程序产品,包括计算机指令,其特征在于,所述计算机指令被处理器执行时实现权利要求1至7中任意一项所述的方法。