本发明属于相机标定，具体地说，本发明涉及一种基于傅里叶变换的事件相机标定方法。
背景技术：
1、事件相机(event-based camera)是一种受生物启发的先进视觉传感器，也被称为动态视觉传感器(dvs，dynamic vision sensor)或davis(dynamic and active-pixelvision sensor)。与传统的固定帧率采集图像的标准相机相比，事件相机具有低延迟、高动态范围、低功耗和高时间分辨率等独特特点。事件相机可以简单地理解为一种仅感知运动物体的传感器。每个像素都有一个独立的光电传感模块，在该像素处的亮度变化超过设定阈值时，将生成并输出事件数据(也称为脉冲数据)。由于所有像素都独立工作，事件相机的数据输出是异步的，并呈现出稀疏性的空间特点。这是事件相机与标准相机最大的不同之处，也是其核心创新之所在。这种成像方式的优势在于能够大大减少冗余数据，从而提高后处理算法的计算效率。
2、事件相机被广泛应用于目标跟踪、3d重建和视觉测量等领域。作为视觉系统中的一部分，其参数标定是系统性能保证的重要前提。由于事件相机输出的事件流按时间域积累为事件帧，对特征点的空间分布不敏感。而传统的事件相机标定方法，对特征点的提取过分依赖于空间强度分布，这与事件相机的特性相矛盾，并限制了事件相机的标定精度。因此，本专利提出了一种基于傅里叶变换的事件相机标定方法，该方法利用事件数据的频域特性提取标靶的特征点，提高了事件相机标定的灵活性与精度。
技术实现思路
1、本发明提供一种基于傅里叶变换的事件相机标定方法，以解决上述背景技术中存在的问题。
2、为了实现上述目的，本发明采取的技术方案为：一种基于傅里叶变换的事件相机标定方法，具体包括以下步骤，
3、步骤s1：搭建事件相机标定系统；系统包括事件相机，垂直放置并可移动和旋转的lcd显示屏；lcd显示屏按频率闪烁以触发事件；
4、步骤s2：获取事件流；将所述lcd显示屏置于事件相机的成像范围内，lcd显示屏上显示的圆阵列图案被视为2d校准目标，对事件相机输出的事件流数据进行转化处理，将事件流数据在时间窗口内累积为二维事件帧，并将其转换为图像信息，得到事件帧图像数据；
5、步骤s3：提取特征点；使用傅里叶变换计算两个方向的包裹相位图：φx0和φy0；目标图像的特征点位于φx0和φy0之间的2π相位值处；
6、步骤s4：将lcd显示屏进行前后或者不同角度移动，获取至少3个位姿的数据，重复步骤s1至步骤s3，分别捕获不同位姿的水平和竖直条纹图像；
7、步骤s5：根据目标图像信息，得到与特征点对应的世界坐标，然后根据特征点之间的对应关系，利用张氏标定法得到事件相机的内外参数，采用非线性优化算法对事件相机参数值进行优化。
8、进一步地，所述步骤s1中事件相机每个像素独立异步工作，且仅对亮度变化进行输出，一个事件所具有的格式是一个向量，表示如下：
9、e＝(xi,yi,ti,pi) (1)
10、其中，(xi,yi)表示事件的像素坐标，ti表示事件发生的时间戳，pi表示事件发生的极性，即亮度相比于前一次采样是增加还是减少；
11、事件相机每个像素单独的检测照射到该像素上的光强对数的变化，设亮度为i，光强对数记为logi，并根据光强对数的变化异步的输出变亮或者变暗事件，事件输出表示如下：
12、logi(xi,ti)-logi(xi,ti-δti)＝±c (2)
13、其中，xi＝(xi,yi)表示在ti时刻的像素位置，δt表示微小的时间间隔，c表示一定阈值，若当前像素的亮度信息变化超过阈值c且为增大，则触发正事件pi＝+1，若为减小，则触发负事件pi＝-1，在整个相机视野内，只要有一个像素值变化，就会输出一个事件，这些所有的事件都是异步发生的，在事件相机标定系统中，事件是通过控制液晶屏幕，以一定频率闪烁的圆阵列图案来触发事件。
14、进一步地，所述步骤s2中事件相机输出的是一系列事件，包括了事件发生的时间戳，事件的像素坐标以及事件发生的极性，事件流可以记为s，表示如下：
15、s＝{e(x1,y1,t1,p1)，e(x2,y2,t2,p2)，...，e(xi,yi,ti,pi)} (3)
16、二维事件帧可记为f(x,y,t)，表示在时间窗口t内，位置(x,y)发生的所有事件的累积；
17、考虑极性信息，可以分别累积正极性和负极性事件，累积过程表示如下：
18、
19、其中，t0是事件帧的起始时间，设i(x,y)表示生成的图像，图像可以通过以下方式从事件帧生成：
20、i(x,y)＝(f(f(x,y,t)+,f(f(x,y,t)-,f(f(x,y,t))) (5)
21、
22、其中，f(x,y,t)+和f(x,y,t)-分别表示正极性和负极性事件的累积，而f(x,y,t)表示总事件数的累积，f是一个转换函数，fmax是事件帧中的最大事件计数，这个映射将正负极性事件计数归一化到0到255的范围内，并分别放入红色和蓝色通道，将事件帧的数据转换为图像数据。
23、进一步地，所述步骤s3采用频域分析算法，从事件相机输出的事件流按时间积累的事件帧中提取标靶的特征点，对周期性图像采用傅里叶变换来提取事件数据的频域特性，从而更精确地标定事件相机的参数,；
24、对于阵列周期目标可以看作是一个二维周期信号，通过傅里叶变换可以得到如下：
25、
26、其中，h0为零阶谱，和表示k阶谱，h*表示共轭运算；
27、步骤s2以圆阵列图案为例作为2d校准目标，
28、傅里叶变换(ft)、傅里叶反变换(ift)和特征检测(fd)，其强度计算为：
29、
30、其中，(x,y)表示一个图像点，(xc,yc)表示为特征点的圆心，n为相邻圆中心之间的距离，可作为圆目标的周期，r为每个圆的半径；返回小于输入的最大整数；
31、圆阵列图案沿水平方向和垂直方向都是周期性的；当相机的光轴垂直于目标平面时，圆的目标图像可以视为一个二维周期信号，它的强度函数可以转换为傅里叶级数：
32、i(x,y)＝a0+ax0cosφx0+ay0cosφy0 (10)
33、其中，a0表示直流分量，ax0和ay0表示交流分量，φx0和φy0表示基频沿x轴和y轴的两个包裹相位图；利用傅里叶变换(ft)，可以得到圆目标图像的傅里叶光谱为：
34、
35、其中，q0为a0的傅里叶谱或零阶谱；qx(fx-fx0,fy)表示的傅里叶谱或沿x轴的基本谱，表示qx的共轭；同样，qy(fx,fy-fy0)表示的傅里叶谱或沿y轴的基本谱；表示qy的共轭；
36、通过选择一个适当的窗口来分离傅里叶光谱qx和qy，并执行傅里叶逆变换(ift)和得到从0到2π的两个包裹相位图φx0和φy0，并且得到圆中心在φx0和φy0中均有2π相位值，且圆心与2π相位点一致，由此可通过提取2π相位点来定位圆中心。
37、进一步地，事件相机(1)标定系统采用针孔成像模型，空间中任意一点在图像中成像位置可用针孔成像模型进行表示，对于图像点p＝[u,v]，其对应的3d点为p＝[xw,yw,zw]；p和p通过添加1作为最后一个元素来表示它们的增广向量，因此，在针孔成像模型的背景下，成像过程可以表示为：
38、sp＝k[r t]p (12)
39、其中，s是任意比例因子，r是旋转矩阵，t是平移矩阵；
40、k是待估计的内在矩阵，表达式为：
41、
42、其中，p＝[u,v]是沿两个像轴的焦距，[u0,v0]是主点，χ是倾斜因子；
43、为了保证事件相机标定的准确性和可靠性，对针孔成像模型进行了径向畸变校正；归一化未畸变像素[u,v]与对应的归一化畸变点[ud,vd]之间的关系可描述为：
44、
45、其中，r2＝u2+v2，k1和k2为径向畸变系数，通过校准目标特征点的检测建立p和p之间的一对一映射，就可以求解上述方程来估计未知的相机参数；
46、然后，采用非线性优化算法对事件相机参数值进行优化，公式如下：
47、
48、其中，m表示采集标靶的方位数；n表示一副标靶图像的特征点总数；mij表示第i个方位上的第j个特征点，表示使用内参数求得的反投影点坐标，上述式子取得的最小值即为优化后的事件相机参数。
49、采用以上技术方案的有益效果是：
50、1、本发明的一种基于傅里叶变换的事件相机标定方法，傅里叶变换在事件相机校准中的开创性应用，产生了有效、可靠的高精度标定结果。
51、2、本发明的一种基于傅里叶变换的事件相机标定方法，使用相位分布而不是强度信息来定位特征点，相比强度信息定位，相位分布定位特征点更加契合事件相机的特性，提高了事件相机标定的可靠性与精度。
52、3、本发明的一种基于傅里叶变换的事件相机标定方法，虽然本发明重点关注圆形阵列，但该方法可以很容易地扩展到其他周期性目标，例如网格，展示了其简单性和灵活性。
1.一种基于傅里叶变换的事件相机标定方法，其特征在于：具体包括以下步骤，
2.根据权利要求1所述的一种基于傅里叶变换的事件相机标定方法，其特征在于：所述步骤s1中事件相机(1)每个像素独立异步工作，且仅对亮度变化进行输出，一个事件所具有的格式是一个向量，表示如下：
3.根据权利要求1所述的一种基于傅里叶变换的事件相机标定方法，其特征在于：所述步骤s2中事件相机(1)输出的是一系列事件，包括了事件发生的时间戳，事件的像素坐标以及事件发生的极性，事件流可以记为s，表示如下：
4.根据权利要求1所述的一种基于傅里叶变换的事件相机标定方法，其特征在于：所述步骤s3采用频域分析算法，从事件相机(1)输出的事件流按时间积累的事件帧中提取标靶的特征点，对周期性图像采用傅里叶变换来提取事件数据的频域特性，从而更精确地标定事件相机的参数,；
5.根据权利要求1所述的一种基于傅里叶变换的事件相机标定方法，其特征在于：事件相机(1)标定系统采用针孔成像模型，空间中任意一点在图像中成像位置可用针孔成像模型进行表示，对于图像点p＝[u,v]，其对应的3d点为p＝[xw,yw,zw]；p和p通过添加1作为最后一个元素来表示它们的增广向量，因此，在针孔成像模型的背景下，成像过程可以表示为：
