基于知识蒸馏自适应 DenseNet 的无人机对地目标可见光与红外图像融合
DOI:
CSTR:
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

TP391. 4 TH701

基金项目:

国家自然科学基金(52101377,62201598)、湖南省研究生科研创新项目(CX20220015)资助


Fusion of visible and infrared images of ground targets by unmanned aerial vehicles based on knowledge distillation adaptive DenseNet
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    可见光与红外图像融合旨在利用两种不同传感器之间有效的信息,通过互补的图像特征实现图像增强。 然而,当前基 于深度学习的融合方法倾向于优先考虑评价指标。 模型的复杂性较高,权重参数较大,推理性能低,泛化性较差,不易部署到无 人机载边缘计算端。 为了应对这些挑战,本文提出了一种新颖的可见光与红外图像融合方法,即知识蒸馏的自适应 DenseNet 来学习预先存在的融合模型,通过使用超参数(例如宽度和深度)来实现融合效果和模型轻量化。 本文提出的方法在典型地面 目标数据集进行了评估,实验结果表明,该模型参数仅为 77 KB,推理时间为 0. 95 ms,具有超轻量的网络结构,良好的图像融合 效果和复杂场景下较强的泛化能力。

    Abstract:

    Visible and infrared image fusion aims to exploit the effective information between two different sensors to achieve image enhancement through complementary image features. However, current deep learning-based fusion methods tend to priorities evaluation metrics, and the models have high complexity, large weight parameters, low inference performance, poor generalization, and are not easy to deploy on the UAV edge computing platform. To address these challenges, this paper proposes a novel approach for visible and infrared image fusion, i. e. , adaptive DenseNet with knowledge distillation to learn a pre-existing fusion model, which achieves fusion effectiveness and model lightweighting through the use of hyperparameters (e. g. , width and depth). The proposed method is evaluated on a typical ground target dataset, and the experimental results show that the model parameter is only 77 KB and the inference time is 0. 95 ms, which has an ultra-light network structure, excellent image fusion effect and strong generalization ability in complex scenes.

    参考文献
    相似文献
    引证文献
引用本文

童小钟,赵宗庆,苏绍璟,左 震,孙 备.基于知识蒸馏自适应 DenseNet 的无人机对地目标可见光与红外图像融合[J].仪器仪表学报,2024,45(5):20-32

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:
  • 最后修改日期:
  • 录用日期:
  • 在线发布日期: 2024-09-14
  • 出版日期:
文章二维码