本发明属于定位，具体涉及led基于连续多帧图片的可见光成像系统及方法。
背景技术：
1、随着城市化和现代技术发展，在人们的生活中，对室内场景下(如大型商场、医院、室内娱乐设施等)的定位技术的需求愈发突显。
2、当前人们生活中最常用的定位导航技术仍然是基于导航定位卫星的卫星定位导航技术(如gps)，这种定位导航技术能够在大多数环境下发挥良好的定位效果，但同时也有着一定的局限性。
3、在室内条件下，由于卫星信号穿过建筑物时会产生严重的损耗，无法通过卫星定位导航技术来得到比较良好的定位效果。
4、现有的室内定位方法，实际表现比较突出的三种是uwb(ultrawideband，超宽带技术)定位技术、wi-fi(wirelessfidelity，无线保真)定位技术和ble(bluetoothlowenergy，蓝牙低功耗)定位技术。
5、其中uwb定位技术具有较高的精度和较强的抗干扰性，但该技术的大量应用存在两个困难：一是相较于其他定位技术而言较高的设备成本，而是目前uwb技术的设备和标准尚未完全统一，可能存在一些兼容性问题。作为一种大范围应用于室内定位场景的定位技术，uwb定位技术的应用并不是特别理想。
6、而对于wi-fi定位技术，wi-fi定位的精度可能受到多路径传播、信号强度变化和设备位置更新速度等因素的限制，因此在某些应用中精度可能不够。且wi-fi定位技术依赖现有的wi-fi基础设施，如果信号覆盖不足或者基站密度较低，可能导致定位性能下降。
7、ble技术则兼具了较低的功耗、广泛的兼容性和较低的成本，并且可以通过部署ble标签或节点进行定位，具有一定的灵活性。但同时，ble定位技术的定位精度也十分有限，有时甚至低至几米到十几米，且易受多径效应影响，并且应用场景有限、受设备密度影响，信号的穿透性也十分有限。
8、与上述的基于无线射频通信的室内定位技术不同，可见光定位技术(visiblelightpositioning，vlp)是基于可见光通信技术，利用照明用的led(light-emittingdiode，发光二极管)灯具即可实现室内定位。该技术的原理是将需要传输的位置信息编译成一段调制信号，用脉冲宽度调制的方法调制到led灯具的驱动电流上，通过利用室内无处不在的led光源作为发射载体，当定位终端进入灯具照明区域，通过光电二极管(photodiode,pd)或图像传感器(imagesensor，is)等传感器接收并识别光信号，解析出led灯具发射的唯一身份识别(identityrecognition,id)信息。利用所获取的id信息在地图数据库中确定对应的位置信息，完成定位。
9、吉林化工学院在其申请专利文献“一种基于接收信号强度比的室内可见光定位方法及系统”(申请日2023.11.28，申请号cn202311599530.8，申请公布号：cn117576225a)中公布了一种基于接收信号强度比的室内可见光定位方法及系统，属于可见光室内定位技术领域。其存在的缺陷是：由于led灯光衰或是led灯灯泡温度提升的影响，光照强度发生变化造成接收信号强度发生明显改变，导致定位方法稳定性差，定位精度下降；不同led灯光照强度衰减不相同造成接受信号强度比发生偏移，神经网络定位模型不再适配，导致定位精度下降。
10、中国人民解放军战略支援部队信息工程大学在其申请专利文献“一种指纹增强的可见光定位方法、系统及相关设备”(申请日2023.9.27，申请号cn202311270447.6，申请公布号：cn117331061a)中公布一种指纹增强的可见光定位方法、系统及相关设备。其存在的缺陷是：led发射功率的波动会直接引起接收端接收信号强度波动，造成基于接收信号强度的定位方法稳定性差，定位精度低；由于led灯光衰或是led灯灯泡温度提升的影响，光照强度发生变化造成定位方法稳定性差，定位精度下降。
11、综上所述，现有技术存在的缺陷是：
12、1)由于led灯在日常工作中并不是理想的恒定光源，发射功率不恒定且随四周环境不断变化，led发射功率的波动会直接引起接收端接收信号强度波动，造成基于接收信号强度的定位方法稳定性差，定位精度低；
13、2)不同led灯光照强度衰减不相同造成接受信号强度比发生偏移，神经网络定位模型不再适配，导致定位精度下降。
技术实现思路
1、为了克服上述现有技术存在的不足，本发明的目的在于提供一种基于连续多帧图片的可见光系统及方法，该系统及方法能够利用给led灯编码并拍摄视频的方式解码得到led灯的信息完成定位位置信息。
2、为了实现上述目的，本发明采用的技术方案是：
3、基于连续多帧图片的可见光成像系统，包括控制模块、led灯、电源模块、cmos(complementarymetaloxidesemiconductor，互补金属氧化物半导体)相机以及图像处理器；
4、所述控制模块，为内部具有定时器的单片机，用于控制led灯的占空比不变，在两个给定频率下交替闪烁，并且按照特定的闪烁频率交替方式循环闪烁；
5、所述led灯用于闪烁发光，提供照明的同时也包含内部信息；
6、所述电源模块，用于对led灯以及单片机进行供电；
7、所述图像处理器，用于对cmos相机拍摄好的视频进行处理，取出连续多帧图像后进行图像处理后解码得到led灯的位置信息；
8、所述cmos相机，用于对发光的led灯进行视频拍摄，直接连接在计算机上。
9、基于连续多帧图片的可见光成像系统的通信方法，包括以下步骤；
10、步骤1，led-id光条纹码调制，通过设置led不同闪烁频率和闪烁方式，给明暗条纹以一定的特征，再通过图像处理技术实现对特征的提取，并根据所提取的特征识别led的id位置信息；
11、步骤2，led灯工作，向led负责日常照明的同时，同时按照控制模块设定好的闪烁方式进行闪烁；
12、步骤3，cmos相机调试；
13、步骤4，视频拍摄，使用cmos相机对着需要检测的led灯进行拍摄，获取连续时间内的视频流数据。
14、步骤5，图像处理，用于将拍摄到的图像数据处理为一串二进制数据并于指纹库中的led-id进行比对得到当前位置；
15、步骤6，图像解码。
16、所述步骤1具体为：通过单片机作为控制模组，控制led灯调光方式为pwm调光，设置led的占空比为50％，设置两个不同的闪烁频率，记作空间频率与标记频率(单位hz)，两者频率必须高于人眼可识别频率100hz，并且小于相机可分辨黑白条纹的极限频率(一般为上万hz)；利用快门速度是led灯闪烁频率的整数倍时，相同时间内的曝光量相同导致的灯具不会出现明暗条纹的特性，将空间频率设置为快门速度的整数倍，标记频率为不是快门速度是led灯闪烁频率的整数倍的任意频率(一般取与空间频率相近)；
17、进一步的，使用控制模块对连续时间内的led闪烁采用欠采样频移ook调制(ufsook)方式，控制led灯在空间频率与标记频率下交替工作，选取普遍相机30帧/s的帧速率，将两个闪烁频率之间的变换频率设置为30hz。将空间频率与标记频率分别表示数字电路中的“0”和“1”进行编码。编码分为起始位和数据位，起始位为连续四位空间频率，用于计算机识别读取编码信息的起始；编码位大于等于5位，越多位数可以编码的led灯编号越多。每一串独特的空间频率与标记频率的交替编码方式与一个独特的led灯编号id相对应，预先建立一个指纹库，独特的空间频率与标记频率的交替编码方式所代表的一串二进制数字，即对应led灯的id。在指纹库每一个led灯的id中，同时写入与这个led灯相关的所有信息，主要包括在世界坐标系中的位置信息，如果特定场合有特殊需求可以再向指纹库中对应的led中写入更多信息。获得led灯信息即可获取到与这个有关的所有已写入指纹库的信息。
18、所述步骤2具体为：
19、将控制模块和led灯连接在电源模块上，打开电源模块的开关，给控制模块和led灯供电使得led闪烁工作。
20、所述步骤3具体为：
21、调整cmos相机的曝光时间，为了能够清楚的在视频画面中显现出黑白条纹并降低周围发光物体对处理结果的影响，一般设置为小于1/2000s的曝光时间；调整cmos相机的感光度，减少曝光时间相对使用较高敏感度通常会导致影像品质降低，设置较小的感光度，一般设置为小于800.；最后调整cmos相机的视频拍摄帧率与步骤1中频率a、b变换频率相同，后续在将视频连续帧提取成图像后，每一帧图像对应这一时刻的频率(空间频率或者标记频率)，不会产生数据的重复与缺失，将连续的led编码信息提取出来；
22、cmos相机与图像处理器相连接，通过图像处理器中的程序来调控相机参数。
23、所述步骤4具体为：
24、将cmos相机调整到视频拍摄界面，拍摄一段不小于2s的视频，并将视频传输给计算机；所述cmos相机与图像处理器相连接，通过图像处理器直接控制相机拍摄视频，并保存。
25、所述步骤5具体为：
26、计算机先从cmos相机中的视频中获取连续多帧图像，将所述图像按照拍摄的顺序依次处理；
27、5.1，对第i张原始图像进行灰度处理和二值化处理，去掉颜色；
28、5.2，对二值图像闭运算算法，并找到j个连通域，即可能的led灯；
29、5.3，对像素坐标系中的第j个连通域计算矩阵面积找到其中最大的连通域记作设置连通域阈值
30、
31、将矩阵面积小于连通域舍去，满足要求的连通域重新编号一共k个；
32、5.4，提出一种图像中心最邻域算法，用于对上述5.1～5.3得到的二值图像和其中筛选后的连通域，将每个连通域在连续时刻的位置关联起来；后续图像处理在关联起来的每一个连通域基础上，按照连通域的矩阵边界对图像进行截取处理；
33、5.5，对比度增强处理
34、采用限制对比度自适应直方图均衡化处理(clahe)对上述imgk组图像进行处理；
35、5.6，二次截图
36、设置截取图像的截取因子b(0<b<1),一般选取b＝0.4，找到5.5对比度增强处理后每张图像的像素宽，记作widey；按照截取因子对图像的宽进行截取：
37、
38、选取图像像素宽为[starty,endy]对图像进行截图；
39、5.7，滤波处理，选用高斯滤波对5.6中二次截取后的图像进行处理；
40、5.8，边缘检测，选用laplace算子对5.7滤波处理后的图像进行边缘检测，提取出明暗条纹的边界；
41、5.9，条纹细化，选用骨架提取算法对5.8边缘检测处理后的图像进行处理，完成对条纹的细化；
42、5.10，计算条纹个数；首先计算5.9细化条纹后的图像每一列像素中黑和白的像素个数，若黑色多，则将这一整列像素点置为黑色；反之，若白色多，则将这一整列像素点置为白色。将处理后的图像计算其连通域，计算连通域的个数num，即该张图片中条纹的个数。
43、所述步骤5.4为：
44、所述图像中心最邻域算法具体为：
45、假设相机拍摄一个或者多个led灯时，空间位置基本不发生改变，或是发生非常小的变化，先根据拍摄范围内的led灯数量设置组，通过计算每一帧图像中每个led灯几何中心的像素坐标，设置距离阈值，与上一帧图像中的每个led灯几何中心的像素坐标计算距离，取距离最小的加入对应led灯的组中，认定为同一个led灯；如果距离都大于距离阈值，则认定是新的led进入拍摄范围，将这一坐标及led灯设置为新的组；
46、具体步骤如下：
47、将第1张图像中的k个连通域设置为k个组，记作imgk，获取k个连通域的矩阵边界信息此时的连通域的几何中心为记作此时i＝1；按照边界信息对进行过灰度处理的原始图像进行截取，然后储存在对应的imgk组中；
48、依次对后面的原始图像进行5.1～5.3步处理，此时imgk组存在，计算第i张图像中第k个连通域的几何中心暂时记作与第i-1张图像每个连通域的几何中心之间的距离：
49、
50、——第i张图像中，当前这个连通域的矩阵边界信息——第i张图像中，当前这个连通域的几何中心设置连通域的矩阵的对角线作为阈值：
51、
52、dk——连通域矩阵的对角线距离
53、取dk中最小的距离记作dmin，与阈值dk进行对比，如果小于阈值dk，则按照边界信息对进行过灰度处理的原始图像进行截取后，加入到对应连通域所在的组中；如果大于阈值dk，则认定是不属于上面任何一个的新连通域，添加一个img组，按照边界信息对进行过灰度处理的原始图像进行截取，加入其中；
54、所述步骤6具体为：
55、将imgk组图像，按照上述5.5～5.10这一共k组图像，每组中每一张图像的条纹数按照顺序排列起来，根据步骤1中设置的频率a和b在步骤3和步骤4调试之后所呈现的条纹数，设置一个阈值t(5<t<10)，介于两个频率的条纹数之间，按照如下方式进行阈值区分：
56、
57、小于阈值的条纹数置‘0’，大于等于阈值的条纹数置‘1’，分别对应频率a和b，对每张图像的阈值区分后的数据连起来即一串二进制编码，若该串编码位数小于步骤1中含有信息的最小编码位数，舍去；若该串编码位数大于步骤1中含有信息的最小编码位数，进行如下处理：
58、找寻起始位，如果不存在，则将这串数据中间位数据作为首位，在中间位数据前的编码放到这串数据的末尾，如果仍没有起始位，则识别失败。如果找到了起始位，记录每一个起始位的位置，计算两个起始位中间的数据是否与步骤1中设置的数据位位数相同，若不同则舍弃；取出保留下来的所有的数据位，取最多次出现的编码序列，并与步骤1中储存在计算机中数据库的编码序列进行匹配，如果与所有的不相同，则设别失败；若与某一个编码相同，则认定识别到了对应编号的led灯。每组图像最多对应一个led灯，x组图像识别成功，则认定识别到相机摄像范围内存在x个已知编号信息的led灯。
59、本发明的有益效果：
60、第一，通过对连续多帧图像的采集和识别，并提出一种led灯编码解码，可以提升给led灯编码空间。在简化了编码方式的同时，大大提升了led灯可编码能力。
61、第二，通过拍摄视频的方式来采集连续多帧图像，使得视频每一帧都包含一个信息位，短时间内的视频可以包含大量数据信息。缩短了led灯识别所需的时间，增强了识别的实时性。
62、第三，提出的图像中心最邻域算法，减少了不同led灯错误识别在一起的情况。大大提升识别精确度。
63、总体而言，简化了编码方式，缩短了编码信息获取的时间，并且大大提升了识别的精确度。对实时处理非常有利。
1.基于连续多帧图片的可见光成像系统，其特征在于，包括控制模块、led灯、电源模块、cmos相机以及图像处理器；
2.根据权利要求1所述的基于连续多帧图片的可见光成像系统的通信方法，其特征在于，包括以下步骤；
3.根据权利要求2所述的基于连续多帧图片的可见光成像系统的通信方法，其特征在于，所述步骤1具体为：通过单片机作为控制模组，控制led灯调光方式为pwm调光，设置led的占空比，设置两个不同的闪烁频率，记作空间频率与标记频率(单位hz)，两者频率必须高于人眼可识别频率100hz，并且小于相机可分辨黑白条纹的极限频率；利用快门速度是led灯闪烁频率的整数倍时，相同时间内的曝光量相同导致的灯具不会出现明暗条纹的特性，将空间频率设置为快门速度的整数倍，标记频率为不是快门速度是led灯闪烁频率的整数倍的任意频率。
4.根据权利要求3所述的基于连续多帧图片的可见光成像系统的通信方法，其特征在于，使用控制模块对连续时间内的led闪烁采用欠采样频移ook调制方式，控制led灯在空间频率与标记频率下交替工作，将空间频率与标记频率分别表示数字电路中的“0”和“1”进行编码，编码分为起始位和数据位，起始位为连续四位空间频率，用于计算机识别读取编码信息的起始；编码位大于等于5位，每一串独特的空间频率与标记频率的交替编码方式与一个独特的led灯编号id相对应，预先建立一个指纹库，独特的空间频率与标记频率的交替编码方式所代表的一串二进制数字，即对应led灯的id；
5.根据权利要求2所述的基于连续多帧图片的可见光成像系统的通信方法，其特征在于，所述步骤2具体为：
6.根据权利要求2所述的基于连续多帧图片的可见光成像系统的通信方法，其特征在于，所述步骤3具体为：
7.根据权利要求2所述的基于连续多帧图片的可见光成像系统的通信方法，其特征在于，所述步骤4具体为：
8.根据权利要求2所述的基于连续多帧图片的可见光成像系统的通信方法，其特征在于，所述步骤5具体为：
9.根据权利要求8所述的基于连续多帧图片的可见光成像系统的通信方法，其特征在于，所述步骤5.4为：
10.根据权利要求8所述的基于连续多帧图片的可见光成像系统的通信方法，其特征在于，所述步骤6具体为：
