本发明属于人工智能、机器学习、视频压缩等领域,尤其涉及一种基于事件图谱和知识图谱融合的视频压缩及图谱生成方法。
背景技术:
1、随着高清视频和超高清视频的广泛应用,视频压缩技术的需求不断增加。高清视频和超高清视频的分辨率和帧率都非常高,因此需要大量的存储空间和带宽来存储和传输这些视频。而传统的视频压缩技术,如mpeg-2和mpeg-4等,已经不能满足现代视频应用的需求,因为它们的压缩比相对较低,不能有效地压缩高清视频和超高清视频。
2、为了解决这个问题,人们开发了一系列新的视频压缩技术,如h.264、h.265、av1、vp9等。这些视频压缩技术采用更先进的编码技术,如波前变换、自适应量化、多帧参考和高精度预测等,从而进一步提高视频压缩比和视频质量。例如,h.264可以将高清视频压缩到原始大小的1/3到1/5之间,而h.265和av1可以将高清视频和超高清视频压缩到更小的尺寸,同时保持更高的图像质量。
3、但目前主流的视频压缩技术也存在一些问题:
4、h.264是一种由itu-t和iso/iec联合开发的视频压缩标准。其基本原理是通过预测和差分编码等技术来减少视频数据的冗余性,从而达到压缩视频的目的。h.264具有高压缩比和广泛的应用支持,可以在多种设备和平台上使用。但是,h.264的主要弊端包括:
5、较高的计算复杂度:较高的计算复杂度,可能会影响设备的性能和能耗。
6、不支持超高清视频:不适用于高清视频和超高清视频的应用场景。
7、不支持hdr:h.264不支持高动态范围(hdr)视频。
8、h.265是一种由itu-t和iso/iec联合开发的视频压缩标准,也被称为hevc。其基本原理是在h.264的基础上引入更先进的编码技术,如高效率视频编码(vvc)、多帧参考和高精度预测等,从而进一步提高视频压缩比和视频质量。h.265可以支持高清视频和超高清视频,并且具有更低的码率和更高的图像质量。但是,h.265的主要弊端包括:
9、较高的编码和解码复杂度:更高的计算复杂度,可能会影响设备的性能和能耗。
10、兼容性问题:h.265的兼容性问题比较严重,不是所有设备和平台都支持h.265。
11、av1是一种由alliance for open media(aomedia)开发的视频压缩标准。av1的基本原理是采用更先进的编码技术,如深度学习、波前变换和熵编码等,从而进一步提高视频压缩比和视频质量。av1可以支持高清视频、超高清视频和hdr视频,并且具有更低的码率和更高的图像质量。但是,av1的主要弊端包括:
12、较高的编码和解码复杂度:需要更高的计算复杂度,可能影响设备性能和能耗。
13、兼容性问题:av1的兼容性问题比较严重,不是所有设备和平台都支持av1。
14、总之,根据不同的应用场景和需求,可以选择合适的视频压缩技术。而这些传统的视频压缩技术,
技术实现思路
1、为解决上述技术问题,本发明提供了一种基于事件图谱和知识图谱融合的视频压缩及图谱生成方法,包括:
2、将视频拆分获得视频帧,基于自适应阈值和区域生长的图像分割算法对所述视频帧进行事件元区域划分,获得所述视频帧的事件元;
3、对所述视频帧的事件元进行特征提取,获得特征向量;基于所述特征向量计算事件元之间的关系,并构建获得事件元之间的图结构;
4、构建节点来表示每个事件元,根据事件元之间的关系构建边,获得视频事件图谱;
5、基于所述视频事件图谱抽取视频事件元,从所述视频事件元中提取名词和谓词构建获得视频事件知识图谱;
6、将所述视频事件图谱和视频事件知识图谱进行二次融合,还原生成原始视频;
7、根据事件元构成的视频事件图谱和视频事件知识图谱的容量进行自适应调节和设置,对所述原始视频进行压缩和解压缩。
8、优选地,将视频拆分获得视频帧的过程包括:
9、基于每个事件的开始和结束时间点,将视频序列分割成连续的事件元,基于所述事件元表示视频中的不同场景、动作或者物体。
10、优选地,基于自适应阈值和区域生长的图像分割算法对所述视频帧进行事件元区域划分,获得所述视频帧的事件元的过程包括:
11、对图像进行预处理,通过灰度化将彩色图像转换为灰度图像,然后使用中值滤波或者高斯滤波去除图像中的噪声;
12、将预处理后的图像进行自适应阈值分割,将图像划分为若干个小块,并对每个小块内计算局部阈值,根据所述局部阈值进行区域二值化,获得二值化图像;
13、基于所述二值化图像选择二值化后高亮区域的中心点作为种子点,定义区域生长条件,从种子点开始,根据生长条件向邻域扩展,直到没有新的像素满足生长条件;
14、使用形态学操作去除噪声和小的分割区域,并通过过滤小区域去除面积小于某一阈值的分割区域,保留有效的事件元。
15、优选地,将图像划分为若干个小块,并对每个小块内计算局部阈值的公式表示式为:
16、t local(x,y)=μ+k*σ
17、其中,μ和σ分别是该局部块的均值和标准差,k为调节参数。
18、优选地,根据所述局部阈值进行区域二值化的公式表示式为:
19、
20、优选地,基于所述二值化图像选择二值化后高亮区域的中心点作为种子点,定义区域生长条件,从种子点开始,根据生长条件向邻域扩展,直到没有新的像素满足生长条件;
21、所述中心点为:{s1,s2,…,sn}where ibinary(si)=1
22、所述区域生长条件为:sim(p,q)=∣igray(p)-igray(q)∣<∈
23、其中p是当前生长区域中的像素点,q是其邻域像素点,∈是允许的灰度值差异;
24、所述从种子点开始,根据生长条件向邻域扩展,直到没有新的像素满足生长条件的公式表示式为:
25、
26、优选地,所述事件元之间的关系包括但不限于重叠、相邻、相离、相切;
27、其中,所述重叠为两个事件元在一个或多个维度上的重叠部分,即空间上存在共同像素;
28、数学表达式为:其中a和b是两个事件元的集合;
29、所述相邻为两个事件元没有重叠部分,但边界上有一个或多个像素距离为1;
30、数学表达式为:其中和分别是事件元a和b的边界;
31、所述相离为两个事件元没有重叠,也不相邻,边界上没有像素距离为1;
32、数学表达式为:
33、优选地,将所述视频事件图谱和视频事件知识图谱进行二次融合之前还包括:
34、根据现有的通用知识库对视频事件知识图谱进行清洗、补全、剪枝、增强连接、聚类操作,然后从视频中同步提取音频、字幕、弹幕,辅助视频事件知识图谱的补全。
35、优选地,对所述原始视频进行压缩的过程包括:
36、设计基于事件图谱和知识图谱的压缩算法,对视频事件图谱和视频事件知识图谱进行剪枝操作,或者属性消除操作实现对所述原始视频的压缩;
37、其中,基于事件图谱和知识图谱的压缩算法包括结合图卷积网络进行特征表示和压缩,或利用图神经网络进行信息传递和压缩;
38、所述剪枝操作为对视频事件知识图谱进行剪枝操作,去除不必要或冗余信息,简化图谱结构和减少数据量;
39、所述属性消除操作为根据属性的重要性和贡献度消除属性信息;
40、对所述原始视频进行压缩还包括调节压缩算法中的压缩比例、保真度,对应获得不同的压缩效果。
41、优选地,对所述原始视频进行解压缩的过程包括:
42、设计适用于视频解压缩的专用算法,根据压缩时的视频事件知识图谱的结构和内容,补全在压缩过程中省略的信息,还原视频事件的完整描述;
43、根据压缩时消除的属性信息,结合视频事件图谱和视频事件知识图谱,重建视频事件的属性特征,恢复视频内容的细节和质量;
44、在解压缩后,根据评估指标对恢复的视频内容进行解压缩效果的质量和保真度评估;
45、所述评估指标包括但不限于压缩比、峰值信噪比、结构相似性指标。
46、与现有技术相比,本发明具有如下优点和技术效果:
47、本发明通过结合事件图谱和知识图谱,可以更有效地处理视频内容,并在压缩过程中减少信息丢失,从而获得更高的压缩比。优化的压缩算法可以降低存储和传输成本,提高视频数据的利用率。
48、本发明通过结构化处理方法,能够在保持图像质量的同时实现更高的压缩率,解决了传统压缩技术中压缩比与图像质量之间的权衡问题,提高了图像质量。
49、本发明采用新的视频处理方法可以提高视频传输过程中的安全性,减少信息泄密和信心安全问题的风险。
50、本发明通过优化的视频压缩算法可以降低对硬件资源的需求,减少计算资源和存储资源的占用,提高设备性能和降低能耗。
51、本发明支持视频交互功能,通过事件图谱和知识图谱的融合,能够更好地支持视频交互功能,利用生成对抗网络(gan)等技术实现视频生成和交互,提高视频内容的表现和互动性。
52、本发明能够实现视频自动标注,利用计算机自动识别和标记视频内容,可以提高视频内容的管理和检索效率,加快视频处理流程,提升工作效率和精准度。
1.一种基于事件图谱和知识图谱融合的视频压缩及图谱生成方法,其特征在于,包括:
2.根据权利要求1所述的基于事件图谱和知识图谱融合的视频压缩及图谱生成方法,其特征在于,将视频拆分获得视频帧的过程包括:
3.根据权利要求1所述的基于事件图谱和知识图谱融合的视频压缩及图谱生成方法,其特征在于,基于自适应阈值和区域生长的图像分割算法对所述视频帧进行事件元区域划分,获得所述视频帧的事件元的过程包括:
4.根据权利要求3所述的基于事件图谱和知识图谱融合的视频压缩及图谱生成方法,其特征在于,将图像划分为若干个小块,并对每个小块内计算局部阈值的公式表示式为:
5.根据权利要求3所述的基于事件图谱和知识图谱融合的视频压缩及图谱生成方法,其特征在于,根据所述局部阈值进行区域二值化的公式表示式为:
6.根据权利要求3所述的基于事件图谱和知识图谱融合的视频压缩及图谱生成方法,其特征在于,
7.根据权利要求1所述的基于事件图谱和知识图谱融合的视频压缩及图谱生成方法,其特征在于,
8.根据权利要求1所述的基于事件图谱和知识图谱融合的视频压缩及图谱生成方法,其特征在于,将所述视频事件图谱和视频事件知识图谱进行二次融合之前还包括:
9.根据权利要求1所述的基于事件图谱和知识图谱融合的视频压缩及图谱生成方法,其特征在于,对所述原始视频进行压缩的过程包括:
10.根据权利要求1所述的基于事件图谱和知识图谱融合的视频压缩及图谱生成方法,其特征在于,对所述原始视频进行解压缩的过程包括: