本发明涉及ar，更具体地说，涉及一种ar虚拟场景的增强方法、系统、电子设备及存储介质。
背景技术：
1、随着科技的不断发展，ar技术被广泛应用于各个行业中，尤其是视频播放、广告投放等行业。但是，传统的ar多采用纯粹的3d建模，在材质、光影等方面与真实世界差距较大，难以营造沉浸感。
2、因此，如何提供一种ar虚拟场景的增强方式，以提升ar虚拟场景的真实感，从而提升用户的沉浸感，是本技术当前亟需解决的问题。
技术实现思路
1、有鉴于此，本发明提供一种ar虚拟场景的增强方法、系统、电子设备及存储介质，以提升ar虚拟场景的真实感和提升用户的沉浸感为目的。
2、本技术第一方面提供一种ar虚拟场景的增强方法，所述方法包括：
3、采集原始视频流，并对所述原始视频流进行解码，得到多个rgb格式的目标图像帧；
4、对每个所述目标图像帧进行像素级标注，得到每个所述目标图像帧的语义标注结果；其中，所述语义标注结果包括所述目标图像帧中的每个像素的语义类别和每个ar物体的ar物体轮廓；
5、对所述原始视频流中的每个图像帧进行检测和三维重建，确定所述图像帧中的每个ar物体的三维位置和姿态；
6、针对每个所述图像帧，根据所述图像帧对应的目标图像帧的语义标注结果、所述图像帧中的每个ar物体的三维位置和姿态，确定所述图像帧内的每个ar物体匹配的ar内容及其放置位置、放置方向和角度；
7、根据每个所述ar物体匹配的ar内容的目标放置位置、放置方向和角度将对应的ar内容渲染至对应的图像帧内的ar场景中。
8、可选的，所述采集原始视频流，并对所述原始视频流进行解码，得到多个rgb格式的图像帧，包括：
9、采集原始视频帧；
10、获取预先标定的相机内参矩阵和畸变系数，并根据所述相机内参矩阵和畸变系数对所述原始视频流进行畸变校正，得到多个rgb格式的目标图像帧。
11、可选的，所述对每个所述目标图像帧进行像素级标注，得到每个所述目标图像帧的语义标注结果，包括：
12、通过预先配置的tensorflow和deeplab类加载预先构建的语义分割模型；
13、针对每个所述目标图像帧，通过所述语义分割模型对所述目标图像帧中的每个像素进行像素级标注，得到每个像素的语义类别，并对所述目标图像帧进行ar物体识别，得到目标图像帧内的每个ar物体的ar物体轮廓。
14、可选的，语义分割模型的构建过程包括：
15、获取与ar场景相关的训练数据，并利用所述训练数据对待训练的语义分割模型进行调整，得到适应ar场景的语义分割模型；
16、获取ar物体的先验信息，利用所述ar物体的先验信息对适应ar场景的语义分割模型进行调整，得到初始语义分割模型；
17、利用实例分割模型对所述初始语义分割模型进行调整，得到语义分割模型。
18、可选的，所述方法还包括：
19、确定所述目标图像帧的每个像素的语义类别对应的颜色；
20、根据各个所述像素的语义类别对应的颜色生成与相应的彩色分割图；
21、将所述彩色分割图叠加至所述目标图像帧上，得到ar叠加层，并显示所述ar叠加层。
22、可选的，所述对所述原始视频流中的每个图像帧进行检测和三维重建，确定所述图像帧中的每个ar物体的三维位置和姿态，包括：
23、针对所述原始视频流中的每个图像帧，通过物体检测模型yolo提取图像帧中的每个ar物体的边界框信息，并利用注意力机制学习图像帧中的ar场景的上下文信息，利用所述上下文信息对每个ar物体的边界框信息进行加权，得到每个ar物体的目标边界框信息；
24、利用三维重建模型对图像帧中的ar场景进行三维重建，得到所述ar场景的三维点云和相机位姿信息；
25、根据每个所述ar物体的目标边界框信息将ar物体的目标边界框投影至三维空间中，并与所述三维点云和所述相机位姿信息相匹配，得到每个所述ar物体的三维位置和姿态。
26、可选的，针对每个所述图像帧，根据所述图像帧对应的目标图像帧的语义标注结果、所述图像帧中的每个ar物体的三维位置和姿态，确定所述图像帧内的每个ar物体匹配的ar内容及其放置位置、放置方向和角度，包括：
27、针对每个所述图像帧，建立所述图像帧内的ar场景的三维空间；
28、根据所述图像帧对应的目标图像帧的语义标注结果，从ar素材库中选取与所述图像帧内的每个ar物体匹配的ar内容；
29、根据所述图像帧对应的目标图像帧的语义标注结果和所述三维空间，确定每个所述ar物体匹配的ar内容的放置位置；
30、利用所述ar物体的三维位置对所述ar物体匹配的ar内容的放置位置进行修正，得到所述ar物体匹配的ar内容的目标放置位置；
31、利用所述ar物体的姿态对所述ar物体匹配的ar内容的放置方向和角度。
32、本技术第二方面提供一种ar虚拟场景的增强系统，所述系统包括：
33、采集单元，用于采集原始视频流，并对所述原始视频流进行解码，得到多个rgb格式的目标图像帧；
34、语义分割单元，用于对每个所述目标图像帧进行像素级标注，得到每个所述目标图像帧的语义标注结果；其中，所述语义标注结果包括所述目标图像帧中的每个像素的语义类别和每个ar物体的ar物体轮廓；
35、三维重建单元，用于对所述原始视频流中的每个图像帧进行检测和三维重建，确定所述图像帧中的每个ar物体的三维位置和姿态；
36、ar内容生成单元，用于针对每个所述图像帧，根据所述图像帧对应的目标图像帧的语义标注结果、所述图像帧中的每个ar物体的三维位置和姿态，确定所述图像帧内的每个ar物体匹配的ar内容及其放置位置、放置方向和角度；
37、渲染单元，用于根据每个所述ar物体匹配的ar内容的目标放置位置、放置方向和角度将对应的ar内容渲染至对应的图像帧内的ar场景。
38、本技术第三方面提供一种电子设备，包括：处理器以及存储器，所述处理器以及存储器通过通信总线相连；其中，所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器，用于存储程序，所述程序用于实现本技术第一方面提供的ar虚拟场景的增强方法。
39、本技术第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行如本技术第一方面提供的ar虚拟场景的增强方法。
40、本发明提供一种ar虚拟场景的增强方法、系统、电子设备及存储介质，采集原始视频流，并对原始视频流进行解码，得到多个rgb格式的目标图像帧；对每个目标图像帧进行像素级标注，得到每个目标图像帧的语义标注结果；其中，语义标注结果包括目标图像帧中的每个像素的语义类别和每个ar物体的ar物体轮廓；对原始视频流中的每个图像帧进行检测和三维重建，确定图像帧中的每个ar物体的三维位置和姿态；针对每个图像帧，根据图像帧对应的目标图像帧的语义标注结果、图像帧中的每个ar物体的三维位置和姿态，确定图像帧内的每个ar物体匹配的ar内容及其放置位置、放置方向和角度；根据每个ar物体匹配的ar内容的目标放置位置、放置方向和角度将对应的ar内容渲染至对应的图像帧内的ar场景中，由此可见，本技术通过对原始视频流进行解析，提取骑宠的场景信息，即对原始视频流进行解码，并对得到的目标图像帧进行像素级标注，以及利用原始视频流中的图像帧进行三维重新，得到图像帧中的每个像素的语义类别以及每个ar物体的三维位置和姿态；利用图像帧中的每个像素的语义类别以及每个ar物体的三维位置和姿态将检测到的每个ar物体匹配的ar内容渲染到对应的场景内，使得ar内容与真实场景无缝衔接，从而达到提升ar虚拟场景的真实感和提升用户的沉浸感的目的。
1.一种ar虚拟场景的增强方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述采集原始视频流，并对所述原始视频流进行解码，得到多个rgb格式的图像帧，包括：
3.根据权利要求1所述的方法，其特征在于，所述对每个所述目标图像帧进行像素级标注，得到每个所述目标图像帧的语义标注结果，包括：
4.根据权利要求3所述的方法，其特征在于，语义分割模型的构建过程包括：
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，所述对所述原始视频流中的每个图像帧进行检测和三维重建，确定所述图像帧中的每个ar物体的三维位置和姿态，包括：
7.根据权利要求1所述的方法，其特征在于，针对每个所述图像帧，根据所述图像帧对应的目标图像帧的语义标注结果、所述图像帧中的每个ar物体的三维位置和姿态，确定所述图像帧内的每个ar物体匹配的ar内容及其放置位置、放置方向和角度，包括：
8.一种ar虚拟场景的增强系统，其特征在于，所述系统包括：
9.一种电子设备，其特征在于，包括：处理器以及存储器，所述处理器以及存储器通过通信总线相连；其中，所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器，用于存储程序，所述程序用于实现如权利要求1-7任一项所述的ar虚拟场景的增强方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求1-7任一项所述的ar虚拟场景的增强方法。
