本发明涉及卷积神经网络及微纳电子,尤其是涉及一种基于光电混合卷积神经网络的掩膜版制备方法。
背景技术:
1、随卷积神经网络作为深度学习研究中具有代表意义的算法之一,多应用于解决图像处理问题。但随着网络结构日益复杂化以及数据规模的爆炸式增长,计算成本也随之增加。例如,google的alphago需要1920个cpu和280个gpu,每场比赛的电费达到3000美元左右;使用残差神经网络(resnet-200)完成图像分类任务需要8个gpu,并且需要超过三周的训练才能达到20.7%左右的分类精度。摩尔定律的放缓导致基于冯·诺伊曼架构的传统计算方式无法满足未来的计算需求。
2、光子因其高速、高带宽和大规模并行性等优势而越来越受到关注。以光代电来更快速地处理大量信息成为一种潜力巨大,前景广阔的工作模式。因此,光学神经网络应运而生。它具有功耗低、并行度高、速度快的特点,可以加速电子硬件的部分运算,满足海量数据处理的需求。
3、傅里叶神经网络是光学神经网络的一种,基于透镜的傅里叶变换原理和卷积定理,利用4f光学系统部署在自由空间中,可以实现卷积的操作,位于频谱面的相位掩膜实现卷积核的功能。以光学的方式对图像进行处理,在保证一定精确度的前提下看可以大幅度降低功耗,降低延迟时间,提升卷积神经网络的性能。
4、于是,有鉴于此,针对现有研究的不足,提供一种光电混合卷积神经网络的设计与制备方法,以期达到更具有实用价值,更好地应用于生活中的目的。
技术实现思路
1、本发明为了解决现有研究的不足,基于傅里叶变换原理和卷积定理,提供了一种基于光电混合卷积神经网络的掩膜版制备方法,解决了光电混合卷积神经网络的实际应用问题。
2、为实现上述第一个目的,本发明采用的技术方案是:
3、一种基于光电混合卷积神经网络的掩膜版制备方法,包括以下步骤:
4、搭建电学卷积神经网络,基于卷积神经网络推导卷积核权重与光学卷积层相位掩膜高度分布之间的关系设计掩膜版图案;将图案从掩膜版上转移到基片上;对基片上的图案进行刻蚀,裸露的区域基片被蚀去,其它区域光刻胶被蚀去,从而在基片表面形成高度差,重复曝光、刻蚀多次即得,紫外光刻需要掩膜版,需要基于卷积神经网络设计和制造光刻掩膜版,再用紫外光刻机将图案从掩膜版上转移到基片上,最后用icp刻蚀机进行刻蚀,裸露的区域基片被蚀去,其它区域光刻胶被蚀去,从而在基片表面形成了高度差,经过曝光、icp刻蚀重复三次,得到了四层微结构。
5、优选地,所述搭建电学卷积神经网络的方法,包括以下步骤:根据目标需求,在计算机上搭建卷积神经网络;提取卷积层的权重参数,填充和平铺;从数据集中提取图像,填充后作为梯度下降算法的数据集;梯度下降算法搭建,推导卷积核权重与光学卷积层相位掩膜高度分布之间的关系,迭代得到相位掩膜的高度分布关系,光学卷积层相比传统的电学卷积层具有更快的运算速度和更高的计算效率,能够加速神经网络的前向传播计算过程,提高网络的整体性能和速度,通过推导卷积核权重与光学卷积层相位掩膜高度分布之间的关系,并利用梯度下降算法优化高度分布关系,可以优化卷积操作的精度,提升图像处理和识别的准确率。
6、优选地,所述电学卷积神经网络搭建步骤,卷积层在训练时增加了非负限制,并且,卷积核的数量选择了16个,在后续的光学参数计算中可以平铺为4×4的形式。
7、优选地,在提取卷积层的权重参数后,填充后平铺为4×4的形式,要求是对输入图像进行卷积计算后,不会出现重叠,由此得到光学卷积层的理论值,填充的像素数可以由公式算出,公式如下:
8、pad=(pixel-convdim)//2
9、其中,pad代表需要填充的像素数,pixel代表图像的大小;covdim代表卷积核的大小,“//”表示除法取整,结果只保留整数部分,从手写图像数据集中随机提取10000张图像也填充到同样的大小,作为梯度下降算法的数据集。
10、优选地,所述梯度下降算法搭建步骤,在推导卷积核权重与光学卷积层相位掩膜高度分布之间的关系时,引入了点扩散函数(point spreadfunction,psf),线性光学系统中,图像之间的关系如下式:
11、iout(x,y)=iin(x,y)*psf(x,y)
12、其中,iin代表输入图像,*代表卷积计算,psf表示点扩散函数;psf公式如下,表示psf与相位掩膜相位与高度分布之间的关系,通过三个公式,可以推导出卷积核权重与光学卷积层相位掩膜高度分布之间的关系:
13、psf(x,y)=|f{eφi}(x,y)|2
14、
15、其中,表示傅里叶变换,φ表示相位分布矩阵,λ表示光学系统中激光器的波长。
16、优选地,所述梯度下降算法搭建步骤,在设计迭代算法时,将输入图像与psf进行卷积,结果为预测值;输入图像与电学卷积核进行卷积,结果作为实际值;两个结果之间的差值作为损失函数,由于两个结果是128×128的矩阵,所以将两个矩阵之差的佛罗贝尼乌斯范数的平方作为损失函数的值,关系式如下:
17、loss function=min||iin*wi-iin*psf||f
18、
19、优选地,所述梯度下降算法搭建步骤,采用四阶梯方案按相位分布进行划分,将[0,2π]划分为[0,π/2],[π/2,π],[π,3π/2],[3π/2,2π]四个范围,每个范围对应一个高度。
20、优选地,所述刻蚀步骤中,基片采用石英基片,刻蚀气体选择chf3和ar,刻蚀完成后去胶,在基片表面形成了阶梯结构。
21、优选地,所述曝光、刻蚀步骤重复三次,得到四层微结构。
22、优选地,所述刻蚀为电感耦合等离子体刻蚀。
23、本发明相对于现有技术,有以下优点:
24、本申请提供的一种基于光电混合卷积神经网络的掩膜版制备方法,采用了紫外光刻技术和icp刻蚀技术通过多轮刻蚀制备相位掩膜,方案可以达到网络需要的270nm线宽的设计要求,网络在保证一定精确度的同时,可以大幅度降低计算量,从而降低功耗,也可以大幅度降低预测环节的延迟时间。
1.一种基于光电混合卷积神经网络的掩膜版制备方法,其特征在于:包括以下步骤:
2.根据权利要求1所述的基于光电混合卷积神经网络的掩膜版制备方法,其特征在于:所述搭建电学卷积神经网络的方法,包括以下步骤:根据目标需求,在计算机上搭建卷积神经网络;提取卷积层的权重参数,填充和平铺;从数据集中提取图像,填充后作为梯度下降算法的数据集;梯度下降算法搭建,推导卷积核权重与光学卷积层相位掩膜高度分布之间的关系,迭代得到相位掩膜的高度分布关系。
3.根据权利要求2所述的基于光电混合卷积神经网络的掩膜版制备方法,其特征在于:所述电学卷积神经网络搭建步骤,卷积层在训练时增加了非负限制,并且,卷积核的数量选择了16个,在后续的光学参数计算中可以平铺为4×4的形式。
4.根据权利要求2所述的基于光电混合卷积神经网络的掩膜版制备方法,其特征在于:在提取卷积层的权重参数后,填充后平铺为4×4的形式,要求是对输入图像进行卷积计算后,不会出现重叠,由此得到光学卷积层的理论值,填充的像素数可以由公式算出,公式如下:
5.根据权利要求2所述的基于光电混合卷积神经网络的掩膜版制备方法,其特征在于:所述梯度下降算法搭建步骤,在推导卷积核权重与光学卷积层相位掩膜高度分布之间的关系时,引入了点扩散函数(point spread function,psf),线性光学系统中,图像之间的关系如下式:
6.根据权利要求5所述的基于光电混合卷积神经网络的掩膜版制备方法,其特征在于:所述梯度下降算法搭建步骤,在设计迭代算法时,将输入图像与psf进行卷积,结果为预测值;输入图像与电学卷积核进行卷积,结果作为实际值;两个结果之间的差值作为损失函数,由于两个结果是128×128的矩阵,所以将两个矩阵之差的佛罗贝尼乌斯范数的平方作为损失函数的值,关系式如下:
7.根据权利要求5所述的基于光电混合卷积神经网络的掩膜版制备方法,其特征在于:所述梯度下降算法搭建步骤,采用四阶梯方案按相位分布进行划分,将[0,2π]划分为[0,π/2],[π/2,π],[π,3π/2],[3π/2,2π]四个范围,每个范围对应一个高度。
8.根据权利要求1所述的基于光电混合卷积神经网络的掩膜版制备方法,其特征在于:所述刻蚀步骤中,基片采用石英基片,刻蚀气体选择chf3和ar,刻蚀完成后去胶,在基片表面形成了阶梯结构。
9.根据权利要求1所述的基于光电混合卷积神经网络的掩膜版制备方法,其特征在于:所述曝光、刻蚀步骤重复三次,得到四层微结构。
10.根据权利要求9所述的基于光电混合卷积神经网络的掩膜版制备方法,其特征在于:所述刻蚀为电感耦合等离子体刻蚀。