一种面向语义通信的跨域目标检测的方法及其装置

    技术2026-08-31  13


    本发明属于无线通信,具体涉及一种面向语义通信的跨域目标检测的方法及其装置。


    背景技术:

    1、随着通信技术的革新、以及智能终端的发展,视频、图像传输等业务迅速增长,传统通信面临信道容量逼近香农极限等问题。面向语义通信的系统可以根据任务传输相关的语义信息,减少无关信息的传输,实现比传统通信更高的传输效率,获得了广泛的关注和研究。

    2、在语义通信场景中,视觉信息的处理任务至关重要;其中,目标检测作为常用视觉信息处理任务,在车联网等场景中发挥着重要作用。现有的语义通信的通用框架下,针对目标检测任务无法有效对抗信道噪声,从而不利于视觉信息的传输,这会导致在任务导向通信下检测性能严重下降。因此,设计面向语义通信目标检测算法具有一定的研究价值。此外,由于不同场景下数据分布有差异,将源场景训练的检测器应用于目标场景时,检测器获取数据并标注是非常耗时的,其性能往往会显著下降,考虑到跨域目标检测将不同的场景视为不同的域,实现模型在不同数据分布之间的迁移,从而提高模型的泛化性。因此,在任务导向通信场景下,如何将目标检测模型迁移到一个新的域上,具有极大的研究意义。


    技术实现思路

    1、为了解决现有技术中存在的上述问题,本发明提供了一种面向语义通信的跨域目标检测的方法及其装置。本发明要解决的技术问题通过以下技术方案实现:

    2、第一方面,本发明提供一种面向语义通信的跨域目标检测的方法,包括:

    3、获取带标签的源域图像和无标签的目标域图像;

    4、将带标签的源域图像和无标签的目标域图像输入训练好的目标检测网络模型进行处理,得到源域图像语义特征和目标域图像语义特征;

    5、将源域图像语义特征和目标域图像语义特征输入至语义特征编码器进行编码,得到源域图像语义向量和目标域图像语义向量;将源域图像语义向量和目标域图像语义向量输送至信道,语义特征解码器的接收端将带有噪声干扰的源域图像语义向量和目标域图像语义向量通过语义特征解码器恢复为源域图像语义特征和目标域图像语义特征;

    6、将恢复的源域图像语义特征和恢复的目标域图像语义特征使用对抗训练进行全局特征对齐。

    7、第二方面,本发明还提供一种面向语义通信的跨域目标检测的装置,包括:

    8、图像采集模块,用于获取带标签的源域图像和无标签的目标域图像;

    9、图像处理模块一,用于将带标签的源域图像和无标签的目标域图像输入训练好的目标检测网络模型进行处理,得到源域图像语义特征和目标域图像语义特征;

    10、图像处理模块二,用于将源域图像语义特征和目标域图像语义特征输入至语义特征编码器进行编码,得到源域图像语义向量和目标域图像语义向量;将源域图像语义向量和目标域图像语义向量输送至信道,语义特征解码器的接收端将带有噪声干扰的源域图像语义向量和目标域图像语义向量通过语义特征解码器恢复为源域图像语义特征和目标域图像语义特征;

    11、图像处理模块三,用于将恢复的源域图像语义特征和恢复的目标域图像语义特征使用对抗训练进行全局特征对齐。

    12、本发明的有益效果:

    13、本发明提供的一种面向语义通信的跨域目标检测的方法及其装置,构建语义特征编码器,用于目标检测的语义特征,有效的对抗信道噪声,提升传输效率;通过语义特征编解码器提取跨域目标检测所需语义向量,在不共享特征提取器参数的前提下,基于对抗的思想,本发明设置域鉴别器与特征提取器共同形成对抗网络;经过对抗训练,目标域的特征分布接近于源域的特征分布,从而最大化域鉴别器的损失,实现跨域目标域检测精度的提升。

    14、以下将结合附图及实施例对本发明做进一步详细说明。



    技术特征:

    1.一种面向语义通信的跨域目标检测的方法,其特征在于,包括:

    2.根据权利要求1所述的面向语义通信的跨域目标检测的方法,其特征在于,所述训练好的目标检测网络模型的获取过程包括:

    3.根据权利要求2所述的面向语义通信的跨域目标检测的方法,其特征在于,所述训练好的目标检测网络模型的损失函数ldet的表达式为:

    4.根据权利要求1所述的面向语义通信的跨域目标检测的方法,其特征在于,所述源域图像语义向量xs和目标域图像语义向量xt的表达式分别为:

    5.根据权利要求1所述的面向语义通信的跨域目标检测的方法,其特征在于,所述带有噪声干扰的源域图像语义向量ys和目标域图像语义向量yt的表达式分别为:

    6.根据权利要求1所述的面向语义通信的跨域目标检测的方法,其特征在于,所述恢复的源域图像语义特征fs'和恢复的目标域图像语义特征ft'的表达式分别为:

    7.根据权利要求1所述的面向语义通信的跨域目标检测的方法,其特征在于,所述将恢复的源域图像语义特征和恢复的目标域图像语义特征使用对抗训练进行全局特征对齐,包括:

    8.根据权利要求7所述的面向语义通信的跨域目标检测的方法,其特征在于,所述域鉴别器的损失函数为:

    9.根据权利要求7所述的面向语义通信的跨域目标检测的方法,其特征在于,所述生成器的损失函数为:

    10.一种面向语义通信的跨域目标检测的装置,其特征在于,包括:


    技术总结
    本发明公开了一种面向语义通信的跨域目标检测的方法及其装置,涉及无线通信技术领域,包括:获取带标签的源域图像和无标签的目标域图像,并输入至训练好的目标检测网络模型进行处理,得到源域图像语义特征和目标域图像语义特征,输入至语义特征编码器进行编码,得到源域图像语义向量和目标域图像语义向量;将源域图像语义向量和目标域图像语义向量输送至信道,语义特征解码器的接收端将带有噪声干扰的源域图像语义向量和目标域图像语义向量通过语义特征解码器恢复为源域图像语义特征和目标域图像语义特征;将恢复的源域图像语义特征和恢复的目标域图像语义特征使用对抗训练进行全局特征对齐。本发明能够提升跨域目标域检测精度。

    技术研发人员:郭洁,韩金恒,池育浩,殷航,宋彬
    受保护的技术使用者:西安电子科技大学
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-47858.html

    最新回复(0)