本发明涉及广播电视新闻媒资内容创作,尤其涉及一种广播电视新闻视频辅助剪辑方法和系统。
背景技术:
1、新媒体时代,视频成为受众喜闻乐见的传播方式,新闻的视频化表达当然也成为一种必然。近年来,传统主流媒体推出多种新媒体形态,其中新闻的视频化是最具代表性的。新闻视频甚至新闻短视频的传播方式不仅可以满足用户的信息需求与新鲜感,同时也扩大了传统媒体的影响力。
2、然而视频的生产是非常耗时的,大体上视频的生产可分为前期拍摄和后期制作阶段。前期拍摄阶段,在制定好拍摄主题后,拍摄人员会外出拍摄大量与主题相关的素材供后期制作阶段选择;后期制作阶段,编辑人员需要结合新闻文案从大量备选素材中选择合适的素材,并在相关编辑软件上将这些素材组织成视频。这种传统的纯靠人工的视频生产非常耗时耗力,也容易丢失新闻的时效性。
技术实现思路
1、为了解决上述问题,本发明提出一种广播电视新闻视频辅助剪辑方法和系统,将视觉、自然语言处理以及大模型等方面的先进技术融入视频生产的后期制作阶段,并结合视听语言知识的规则自动剪辑拍摄的素材,塑造剪辑风格,可保证剪辑合理性,提高视频编辑制作质量。
2、本发明采用的技术方案如下:
3、一方面,本发明提出一种广播电视新闻视频辅助剪辑方法,包括:
4、场景识别:提取新闻文稿的主题,并基于主题识别新闻文稿的场景段落;
5、镜头脚本生成:将视频素材分割为视频素材片段,并标注对应的内容标签和拍摄手法标签;将识别出的场景段落切分为细分的镜头文本,并为镜头文本生成内容脚本、画面描述和拍摄手法脚本;
6、素材召回:为切分得到的镜头文本挑选契合的候选视频素材;
7、素材组接:将候选视频素材组接成新闻文稿的剪辑视频。
8、进一步地,所述场景识别包括以下步骤:
9、s11、利用主题提取技术提取新闻文稿的主题;
10、s12、利用文本分段技术结合s11中提取得到的主题对新闻文稿进行场景段落识别:基于大语言模型的分段能力生成每个段落的首句;利用文本相似度算法,定位每个段落的首句在新闻文稿中的位置,从而识别出场景段落。
11、进一步地,所述镜头脚本生成包括以下步骤:
12、s21、利用视觉技术将视频素材分割为多个视频素材片段,并为每个视频素材片段标注对应的内容标签和拍摄手法标签;
13、s22、利用内容脚本生成技术、画面描述生成技术和拍摄手法脚本生成技术为场景段落中的每个镜头文本生成内容脚本、画面描述和拍摄手法脚本。
14、进一步地,在s21中,所述利用视觉技术将视频素材分割为多个视频素材片段,并为每个视频素材片段标注对应的内容标签和拍摄手法标签,包括以下子步骤:
15、s211、利用转场识别技术将视频素材分割为多个视频素材片段;
16、s212、利用背景识别技术、物体识别技术、人脸识别技术、空镜识别技术、人物特征生成技术和行为动作生成技术为s211中每个视频素材片段标注对应的内容标签,包括背景、物体、出镜人物、空镜、人物特征和行为动作;
17、s213、利用镜头景别识别技术、镜头角度识别技术、拍摄方式识别技术和运镜识别技术为s211中的每个视频素材片段标注对应的拍摄手法标签,包括景别、拍摄角度、拍摄方式和运镜。
18、进一步地,在s22中,所述利用内容脚本生成技术、画面描述生成技术和拍摄手法脚本生成技术为场景段落中的每个镜头文本生成内容脚本、画面描述和拍摄手法脚本,包括以下子步骤:
19、s221、利用标签选择技术从s21的内容标签中挑选出与场景段落相关的出镜人物、背景和物体标签集合;
20、s222、结合s221挑选出来的相关的出镜人物、背景和物体标签集合从s21的视频素材片段对应的内容标签中召回前k个候选内容标签;
21、s223、利用镜头切分技术将场景段落进一步切分获得镜头文本;
22、s224、利用内容脚本生成技术基于s222的候选内容标签为每一个镜头选择一个内容标签作为镜头内容脚本;
23、s225、基于s223得到的镜头文本和s224得到的镜头内容脚本以及所述场景识别得到的场景段落,利用画面描述生成技术为每个镜头文本生成对应的画面描述;
24、s226、利用拍摄手法脚本生成技术,基于s223得到的镜头文本、s224得到的镜头内容脚本、所述场景识别得到的场景段落和视听语言知识的规则,为每个镜头文本生成拍摄手法标签,作为拍摄手法脚本。
25、进一步地,所述素材召回包括以下步骤:
26、s31、对于每个新闻文稿,将所述镜头脚本生成中得到的所有视频素材片段整合存储,形成一个视频素材库;
27、s32、针对所述镜头脚本生成中为每个镜头文本所生成的画面描述,运用跨模态检索技术从视频素材库中寻找与画面描述最匹配的前k个候选视频素材片段。
28、进一步地,所述素材组接包括以下步骤:
29、s41、对每个镜头文本利用候选视频素材进行内部的视频组接,生成镜头文本对应的候选视频;
30、s42、按照新闻文稿中镜头文本的顺序,依次执行s41,获取镜头文本的候选视频,然后对新闻文稿中的镜头文本进行剪辑视频的视频组接,从而形成新闻文稿的剪辑视频。
31、进一步地,在s41中,所述对每个镜头文本利用候选视频素材进行内部的视频组接,生成镜头文本对应的候选视频,包括以下子步骤:
32、s411、设定评分标准和镜头文本所需的视频时长;所述评分标准包括候选视频素材片段与所述镜头脚本生成中拍摄手法脚本的匹配度、与镜头文本的匹配度和与视听语言知识的规则的匹配度的加权平均值;
33、s412、针对每个镜头文本,从所述素材召回中检索到的前k个候选视频素材片段作为初始视频束,启动视频组接过程;
34、s413、利用s411中的评分标准对初始视频束中的每个视频素材片段进行评分,选择评分最高的beam_size个视频素材片段组接到视频束后,进入下一轮搜索;其中,beam_size为候选项的最大数量;
35、s414、在组接过程中,如果组接后的视频束总时长超过镜头文本所需的视频时长,则对视频素材片段进行裁剪,以匹配镜头文本的视频时长要求;如果视频的总时长不足以满足镜头文本所需的视频时长,则继续采用集束搜索策略,从剩余的候选视频素材中选择并组接到视频束后;
36、s415、一旦组接后的视频束总时长达到镜头文本所需的视频时长,即结束该视频束的视频组接过程;重复执行s413至s414,直到所有视频束均满足镜头文本所需的视频时长要求;最终,将获得beam_size个镜头文本对应的候选视频束,作为镜头文本的候选视频。
37、进一步地,在s42中,所述按照新闻文稿中镜头文本的顺序,依次执行s41,获取镜头文本的候选视频,然后对新闻文稿中的镜头文本进行剪辑视频的视频组接,从而形成新闻文稿的剪辑视频,包括以下子步骤:
38、s421、设定评分标准,包括候选视频与镜头文本的匹配度、与视听语言知识的规则的匹配度和与镜头之间的连贯性的加权平均值;
39、s422、按照新闻文稿中镜头文本的顺序,对每个镜头文本,从s41中的beam_size个候选视频作为初始剪辑视频束,启动剪辑视频的组接过程;
40、s423、根据s421的评分标准,将每个镜头文本的候选视频与当前剪辑视频束进行组接;对组接后的剪辑视频束进行评分,并选择评分最高的beam_size个剪辑视频束;
41、s424、标记每个剪辑视频束中已使用的视频素材片段,以确保已使用的视频素材片段不再参与后续搜索;
42、s425、针对每个镜头文本,首先执行s41获得镜头文本内部对应的候选视频后,随后执行s423至s424获得镜头文本的剪辑视频,直到完成新闻文稿中所有镜头文本的视频组接;最终,获得新闻文稿对应的beam_size个候选剪辑视频束,选择打分最高的剪辑视频束,作为新闻文稿的剪辑视频。
43、另一方面,本发明提出一种广播电视新闻视频辅助剪辑系统,包括:
44、场景识别模块,被配置为提取新闻文稿的主题,并基于主题识别新闻文稿的场景段落;
45、镜头脚本生成模块,被配置为将视频素材分割为视频素材片段,并标注对应的内容标签和拍摄手法标签;并将识别出的场景段落切分为细分的镜头文本,并为镜头文本生成内容脚本、画面描述和拍摄手法脚本;
46、素材召回模块,被配置为对切分得到的镜头文本挑选契合的候选视频素材;
47、素材组接模块,被配置为将候选视频素材组接成新闻文稿的剪辑视频。
48、本发明的有益效果在于:
49、(1)本发明将视觉、自然语言处理以及大模型等方面的先进技术融入视频生产的后期制作阶段,并结合视听语言知识的规则自动剪辑拍摄的素材,塑造剪辑风格,可保证剪辑合理性,提高视频编辑制作质量。
50、(2)本发明通过自动化的剪辑流程,可显著减少人工剪辑所需的时间和精力,提高视频制作的效率。
51、(3)本发明利用跨模态检索技术,能够更精确地匹配合适的视频素材,确保剪辑视频与新闻文稿内容高度契合。
52、(4)本发明结合视听语言知识,能够组接出内容连贯、视听和谐的视频,进一步提高观众的观看体验。
53、(5)本发明可提高新闻视频制作效率,提升新闻发布的时效性,同时确保视频内容的高质量和一致性。通过将先进技术融入新闻视频剪辑,可推动传统媒体加速转型升级,引领和促进媒体的深度融合发展。
1.一种广播电视新闻视频辅助剪辑方法,其特征在于,包括:
2.根据权利要求1所述的一种广播电视新闻视频辅助剪辑方法,其特征在于,所述场景识别包括以下步骤:
3.根据权利要求1所述的一种广播电视新闻视频辅助剪辑方法,其特征在于,所述镜头脚本生成包括以下步骤:
4.根据权利要求3所述的一种广播电视新闻视频辅助剪辑方法,其特征在于,在s21中,所述利用视觉技术将视频素材分割为多个视频素材片段,并为每个视频素材片段标注对应的内容标签和拍摄手法标签,包括以下子步骤:
5.根据权利要求4所述的一种广播电视新闻视频辅助剪辑方法,其特征在于,在s22中,所述利用内容脚本生成技术、画面描述生成技术和拍摄手法脚本生成技术为场景段落中的每个镜头文本生成内容脚本、画面描述和拍摄手法脚本,包括以下子步骤:
6.根据权利要求1所述的一种广播电视新闻视频辅助剪辑方法,其特征在于,所述素材召回包括以下步骤:
7.根据权利要求1所述的一种广播电视新闻视频辅助剪辑方法,其特征在于,所述素材组接包括以下步骤:
8.根据权利要求7所述的一种广播电视新闻视频辅助剪辑方法,其特征在于,在s41中,所述对每个镜头文本利用候选视频素材进行内部的视频组接,生成镜头文本对应的候选视频,包括以下子步骤:
9.根据权利要求8所述的一种广播电视新闻视频辅助剪辑方法,其特征在于,在s42中,所述按照新闻文稿中镜头文本的顺序,依次执行s41,获取镜头文本的候选视频,然后对新闻文稿中的镜头文本进行剪辑视频的视频组接,从而形成新闻文稿的剪辑视频,包括以下子步骤:
10.一种广播电视新闻视频辅助剪辑系统,其特征在于,包括: