本发明属于图像生成领域，具体涉及一种基于深度学习的针织花样色码生成优化方法和装置。
背景技术：
1、当前纺织行业在智能制造技术的推动下正经历着一场工业转型，全成型针织技术的应用使得现代针织机能够自动化生产出具有复杂图案和表面结构的纺织品。图案设计作为针织面料艺术表现的核心，依赖于制版软件来实现图案的花样色码设计。这一过程不仅要求制版人员具备深厚的纺织知识，还需掌握相应的编程技能，以应对纱线和纹理等多变因素。面对生产流程的复杂性和对效率、成本的双重需求，自动化针织图案设计已成为纺织与计算机科学交叉领域的一大研究焦点。
2、传统针织图案设计依赖于固定的设计规则、机器指令和物理仿真。尽管shida等提供了众多手工编织图案，这些方法却难以适应工业针织机的需求。yuksel等通过针迹网络设计复杂图案，并实现了纱线级服装建模。wu等开发了一种全自动流程，直接在三维模型上构建针迹网格，确保图案的可编织性。mccann等推出了基于形状基元的参数化设计工具，实现了三维网格到机器指令的直接转换。hofmann等的knitpick系统则将针织图像转化为机器和手工编织指令。kaspar等开发的cad工具，进一步简化了针织图案的创建和定制过程。尽管这些技术在三维针织设计上取得了成效，但它们尚未为二维针织图像设计提供一个简便的解决方案。
3、随着深度学习技术的发展，研究者们开始探索其在二维针织图像设计中的应用。melnyk等利用生成对抗网络(gan)创造穿孔卡片图案，并将编织动作转化为二进制图案以用于实际针织打样，但这些方法仅限于特定机型。wenhua等提出了一个基于vgg19的织物参数估计模型，该模型能从单张织物图像中估计面料参数，并通过微片的双向反射分布函数(brdf)模型进行着色。scheidt等则提出了一种基于长短期记忆网络(lstm)的花样色码生成方法，将色码序列化，以高级风格规范生成新颖的针织图案，尽管如此，该方法在花样色码的生成上存在随机性和不可编织性的问题。kaspar等提出了一个基于理论启发的针织图像到花样色码的图像生成算法，但在低频色码的生成结果上并不理想，容易出现色码错位和缺失等情况。
4、综上所述，现有的花样色码生成方法还存在准确性和转换效率低下的问题。
技术实现思路
1、针对现有技术中存在的问题，为提高花样色码生成的准确性，本发明进行了以下关键优化以提升性能：对refinernet细化预处理网络进行多级特征融合，提升对复杂纹理的识别能力；将img2prog网络与panet集成，实现多层次信息复用，并用spd卷积替换传统下采样方法，有效减少结构信息丢失；在残差结构中引入cbam(convolutionalblockattention module)注意力机制，优化resblock结构，提高低频色码生成精度。通过对改进算法的一系列定量评估与定性分析实验，改进后的算法拥有更好的准确性。这些优化不仅提高了设计效率，还确保了图案的高质量和可编织性，满足了现代纺织行业对快速响应市场变化的需求。
2、本发明的的技术方案为：基于深度学习的针织花样色码生成优化方法，包括如下步骤：
3、步骤1，根据采集到的针织面料图像，由针织制版软件绘制对应的花样色码图；将针织面料图像作为输入，花样色码图像作为标签，构成数据集，并将该数据集划分为训练集、测试集；
4、步骤2，将数据集中的针织图像数据进行随机的缩放、裁剪、水平翻转和数据预处理；
5、步骤3，构建inverseknit++模型，所述inverseknit++模型包括refinernet细化预处理网络和img2prog花样色码生成网络；
6、步骤4，使用refinernet细化预处理网络对接收到的针织图像进行细化处理，进而得到线圈结构和纹理特征明显的细化图像；所述refinernet细化预处理网络为应用多尺度融合的refinernet细化预处理网络；
7、步骤5，通过img2prog花样色码生成网络对所述灰度图像进行花样色码预测，进而得到的花样色码图像；所述img2prog花样色码生成网络为应用spd卷积模块和注意力机制模块cbam的img2prog花样色码生成网络；
8、步骤6，利用预处理后的训练集对构建的inverseknit++模型进行训练，并将测试集输入到训练好的inverseknit++模型，生成花样色码图像；
9、步骤7，通过最邻近插值算法在不改变色码数量的基础上，对花样色码图像的尺寸进行调整，同时将每种色码与对应针织指令进行结合，生成最终的花样色码图像。
10、进一步的，refinernet细化预处理网络基于特征金字塔网络fpn构建，包括自下而上、自上而下以及横向连接3个过程，自下而上的路径是用于特征提取的卷积网络，在从下往上的过程中空间分辨率被下采样，提取和压缩更多的语义特征信息，通过自上而下的路径，fpn可以重建特征信息，自下而上和自上而下通道之间的横向连接用于补充高分辨率细节并有助于定位针织面料的花型组织；
11、自下而上的路径具体处理过程如下：
12、输入针织图像，依次经过3组由卷积层和残差块组成的卷积单元，以及一个卷积层，分别得到特征图p1-p4；
13、横向连接的具体处理过程如下：
14、将四种不同尺寸的特征图p1，p2，p3，p4分别经过一个横向连接的卷积层得到特征图c1，c2，c3，c4；
15、自上而下的路径具体处理过程如下：
16、特征图n4，即为c4，先经过上采样层1，之后在加和层1中与特征图c3进行单位相加，然后经过卷积层5得到特征图n3；特征图n3先经过上采样层2，之后在加和层2中与特征图c2进行单位相加，然后经过卷积层6得到特征图n2；特征图n2先经过上采样层3，之后在加和层3中与特征图c1进行单位相加，然后经过卷积层7得到特征图n1；
17、将特征图n4的尺寸放大4倍，特征图n3的尺寸放大2倍，与特征图n2一同输入concatenation连接层，经过卷积层8得到特征图f2，特征图f2经过上采样层4，之后在加和层4中与特征图n1进行相加，然后经过卷积层9得到特征图f1，特征图f1经过上采样层5，再经过卷积层10得到最终的输出细化图像。
18、进一步的，img2prog花样色码生成网络由主干特征提取网络与panet特征融合网络所构成，并在主干特征提取网络的残差块中引入了注意力机制模块cbam构成rbcm残差，使用spd卷积模块代替跨行卷积；
19、主干特征提取网络的具体处理过程如下：
20、首先，输入细化图像依次经过第一卷积层，第二卷积层，第三卷积层，残差块rbcm，经过第一卷积层得到特征图q1，经过第二卷积层得到特征图q2，经过第三卷积层得到特征图q3，经过残差块rbcm得到特征图q4；
21、然后，将特征图q1，特征图q2，特征图q3分别经过一个横向连接的卷积层得到特征图k1，k2，k3；
22、最后，特征图p3，即为k3，先经过第一上采样层，在第一加和层与特征图k2进行单位相加，经过第四卷积层得到特征图p2，特征图p2先经过第二上采样层，在第二加和层与特征图k1进行单位相加，经过第五卷积层得到特征图p1；panet特征融合网络的具体处理过程如下：
23、首先，将特征图n1，即为p1，先通过第六卷积层，在第三加和层中与特征图p2进行单位相加，经过第七卷积层得到特征图n2，特征图n2先通过第八卷积层，在第四加和层中与特征图p1进行单位相加，经过第九卷积层得到特征图n3；
24、接着，将特征图n1，n2，n3分别经过步长为4，2，1的spd模块进行下采样，再与经过跳跃连接的特征图q4一同输入concatenation连接层进行特征融合，经过第十卷积层得到特征图f，再经过第十一卷积层得到输出花样色码图像。
25、进一步的，第一卷积层-第十一卷积层均包括一个卷积核，一个relu激活函数层和一个批归一化batchnorm层。
26、进一步的，步长为2的spd模块具体的处理过程如下：
27、输入特征图f，沿空间维度划分为4个特征图，之后将4个特征图沿通道维度进行concat连接，得到特征图p，特征图f通过空间到深度的特征变换得到特征图p，其空间维度缩小2倍，通道数扩大4倍；之后对特征图p应用一个步长为1的卷积，减少通道维度至1/4，得到处理后的特征图m。
28、进一步的，注意力机制模块cbam的处理过程如下：
29、cbam模块包含通道和空间两个注意力模块，通道注意力机制首先将尺寸为c×h×w的特征图f分别经过全局最大池化(maxpool)和全局平均池化(avgpool)两种不同池化方式的运算，从而获得两个c×1×1的通道特征；接着将两个通道特征送入一个由多层感知机(mlp)和一个隐藏层组合的共享的两层神经网络，第一层神经元个数为c/r，r为缩放系数，第二层神经元个数为c，激活函数为relu；将输出的两个特征的元素进行乘积加和操作后，通过sigmoid激活函数可以获得需要的通道注意力图mc，最后将mc与原输入的特征图f做张量乘法，得出最终的通道注意力特征图f＇，通道注意力模块的输出mc(f)通过以下公式计算：
30、mc(f)＝σ(mlp(avgpool(f))+mlp(maxpool(f))) (1)
31、f′＝mc(f)·f (2)
32、其中，f是输入特征图，avgpool和maxpool分别表示全局平均池化和最大池化操作，mlp表示多层感知机，σ表示sigmoid激活函数，·表示元素级相乘，中间采用广播机制进行维度变换和匹配；
33、然后空间注意力机制对输入f＇的各通道使用均池化和最大池化进行维度上的压缩来聚合通道信息，将获得的两个h×w×1大小的通道特征经过一个大小为7×7的卷积层进行融合，最后使用sigmoid函数进行激活，从而得到空间注意力图ms，再与原输入的特征图f＇相乘得到最终的特征融合图f＇＇；空间注意力模块的输出ms(f＇)通过以下公式计算：
34、ms(f′)＝σ(f7×7([avgpool(f′)；maxpool(f′)])) (3)
35、f″＝ms(f′)·f′ (4)
36、其中，f7x7表示一个7×7的卷积操作，[avgpool(f＇)；maxpool(f＇)]表示将平均池化和最大池化结果沿通道轴拼接起来。
37、进一步的，步骤6训练过程中采用的损失函数如下：
38、
39、其中zce表示归一化因子，ns为空间域的取值范围，即像素位置(i,j)的取值范围，s为真实标签的二维向量矩阵，y是预测标签的二维向量矩阵，d表示在图像上可能的像素偏移，通过取所有偏移情况下交叉熵损失的最小值，模型能够更好地适应真实数据的标注误差，以提高转换的准确性。
40、进一步的，还包括步骤8，利用准确率评估最终生成的花样色码图像与真实花样色码图像之间的差异，准确率计算公式为：
41、
42、式中：ninst是归一化常数，ygt是真实色码标签，sk(i,j)是第k个类别的色码在位置(i,j)的softmax值，d是可能的平移，在整个数据集上，对于每个像素位置(i,j)，寻找一个位移d，使得生成的色码sk(i,j)+d与真实色码ygt最为接近。
43、本发明还提供基于深度学习的针织花样色码生成优化装置，包括：
44、一个或多个处理器；
45、存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述技术方案所述的基于深度学习的针织花样色码生成优化方法。
46、本发明提出了一种基于改进的inverseknit++算法，实现了从针织面料图案到花样色码的高精度转换。从特征学习、特征表达能力、样本权重分配等方面进行了多尺度特征融合的优化。通过替换传统的跨行卷积层和全局池化层为spd模块，有效避免了细粒度信息的丢失和特征学习不足的问题。此外，对浅层细节特征和高级语义特征分别应用了不同的注意力机制，增强了模型在通道和空间维度上的信息获取能力。通对比实验和消融实验的结果表明，改进后的模型不仅提高了针织面料图案数字化过程中的低频色码识别准确性和整体转换效率，还显著减少了花样色码的漏生成、误生成现象，满足了现代纺织行业对于快速设计和生产的需求。然而，模型在实时性方面尚有提升空间，未来的工作将综合考虑精度、复杂度和推理速度，以实现模型在高精度、轻量化和实时性方面的平衡。
1.基于深度学习的针织花样色码生成优化方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于深度学习的针织花样色码生成优化方法，其特征在于：refinernet细化预处理网络基于特征金字塔网络fpn构建，包括自下而上、自上而下以及横向连接3个过程，自下而上的路径是用于特征提取的卷积网络，在从下往上的过程中空间分辨率被下采样，提取和压缩更多的语义特征信息，通过自上而下的路径，fpn可以重建特征信息，自下而上和自上而下通道之间的横向连接用于补充高分辨率细节并有助于定位针织面料的花型组织；
3.如权利要求1所述的基于深度学习的针织花样色码生成优化方法，其特征在于：img2prog花样色码生成网络由主干特征提取网络与panet特征融合网络所构成，并在主干特征提取网络的残差块中引入了注意力机制模块cbam构成rbcm残差，使用spd卷积模块代替跨行卷积；
4.如权利要求1所述的基于深度学习的针织花样色码生成优化方法，其特征在于：第一卷积层-第十一卷积层均包括一个卷积核，一个relu激活函数层和一个批归一化batchnorm层。
5.如权利要求1所述的基于深度学习的针织花样色码生成优化方法，其特征在于：步长为2的spd模块具体的处理过程如下：
6.如权利要求1所述的基于深度学习的针织花样色码生成优化方法，其特征在于：注意力机制模块cbam的处理过程如下：
7.如权利要求1所述的基于深度学习的针织花样色码生成优化方法，其特征在于：步骤6训练过程中采用的损失函数如下：
8.如权利要求1所述的基于深度学习的针织花样色码生成优化方法，其特征在于：还包括步骤8，利用准确率评估最终生成的花样色码图像与真实花样色码图像之间的差异，准确率计算公式为：
9.基于深度学习的针织花样色码生成优化装置，其特征在于，包括：
