无人机搭载热红外与可见光双光传感器进行堤防隐患识别，核心在于利用两种波段的互补物理特性，结合多层级图像融合算法与深度学习目标检测模型，实现从"人眼巡查"到"智能感知"的跨越。其技术链条可分为物理机理层、数据融合层、智能识别层三个维度。

一、物理机理：为什么双光融合能发现隐患？

1. 热红外——捕捉"看不见的渗漏"

堤防渗漏（管涌、散浸、漏洞）发生时，渗流水体与周围土体存在温差效应。渗流带走土体热量，导致渗漏区域表面温度低于正常堤坡，在热红外图像中呈现为低温异常区（暗斑或冷斑）。尤其在清晨或傍晚（日出前后、日落前后），温差对比最为明显，检测灵敏度最高。

中国科学院西北生态环境资源研究院的研究表明，复杂自然环境下堤防险情隐患具有独特的热力学特征，通过5995张热红外图像构建数据集，基于Mask R-CNN模型实现了渗漏区域精准分割，平均检测精度达97.7%。

2. 可见光——提供"看得见的细节"

可见光相机捕获堤防表面的几何形态、纹理特征、颜色变化，擅长识别裂缝、塌陷、滑坡、护坡破损等结构性缺陷，以及植被异常、积水、湿斑等表象特征，为热红外异常提供空间定位与语义验证。

3. 双光协同——优势互补

• 热红外擅长发现渗漏、管涌、内部空洞等隐蔽水害，但分辨率低、无纹理细节，且易受环境热噪声干扰。

• 可见光擅长识别裂缝、塌陷、护坡破损等表面缺陷，但无法穿透植被与表层，难以发现内部渗漏。

• 融合后可实现水害与结构病害的联合识别，降低误报率，提升定位精度。

二、数据融合层：三种技术路线

双光融合并非简单叠加，而是在不同抽象层级进行信息整合：

1. 数据级融合（像素级融合）

在图像像素层面直接融合，典型方法包括：

• 拉普拉斯金字塔融合：对红外热像图与可见光图分别构建多尺度金字塔，在各级进行融合后重建，保留细节与热信息。

• 对抗网络（GAN）融合：利用生成器-判别器结构，让模型自动学习最优融合策略，生成兼具热信息与纹理细节的融合图像。

2. 特征级融合（主流方案）

在深度学习网络中间层进行特征融合，是当前最主流的技术路径：

• 双分支网络架构：红外与可见光各自通过独立骨干网络（如ResNet、CSPDarknet）提取特征。

• 跨模态注意力机制：使用Transformer或注意力模块，让模型自动学习两种模态特征的权重分配。

• 频率选择性融合（FSF）：将图像分解为低频结构信息（可见光提供）与高频细节/热响应（红外提供），分别融合后再聚合，有效应对无人机飞行中传感器弱配准（轻微错位）问题，减少边缘鬼影和背景误融合。

3. 决策级融合

在检测/分割结果层面进行融合：红外模态独立检测得到渗漏候选区域，可见光模态独立检测得到结构缺陷候选区域，再通过决策融合模块进行空间对应关系与置信度加权，综合判定最终隐患位置，显著降低单一模态的误报率。

三、智能识别层：深度学习模型

1. 主流模型及特点

YOLO系列（v5/v8/v11）：轻量化、实时性强，适合边缘计算和无人机端实时处理、快速筛查。在热红外模态上检测精度可达92.7%，可见光模态达70.4%。

Mask R-CNN：实例分割模型，输出像素级掩膜，适用于渗漏区域精细轮廓提取，平均精度达97.7%。

Faster R-CNN：两阶段检测器，精度高但速度较慢，适用于后台精细化分析。

2. 专项技术优化

• Eigen-CAM可视化：揭示模型决策依据，提升黑箱模型的可信度与可解释性。

• 迁移学习：利用公开数据集预训练，再用少量堤防样本微调，解决标注数据稀缺问题。

• 边缘计算部署：将轻量化模型部署在无人机端或机载边缘计算盒，实现飞行中实时检测与预警，无需全部回传地面站。

四、完整技术流程

整个巡查识别流程可分为七个步骤：

① 无人机平台搭载双光传感器（红外热像仪+可见光相机）。

② 航线规划：沿堤防轴线或坡面自动飞行，固定航高（通常10-25米）。

③ 图像预处理：降噪、增强、几何配准、分辨率统一化。

④ 双光融合：通过数据级、特征级或决策级融合生成增强图像。

⑤ AI智能识别：深度学习模型检测渗漏、裂缝、塌陷等隐患。

⑥ 结果输出：隐患位置坐标、类别、置信度、可视化热力图。

⑦ 实时预警：机端或地面站自动推送险情信息至管理人员。

五、关键挑战与前沿进展

1、植被覆盖遮挡：红外可穿透薄层植被发现渗水，可见光辅助排除植被干扰。

2、光照与天气影响：选择最佳巡检时段（清晨或傍晚），开发自适应增强算法。

3、图像配准困难：通过传感器标定与单应性矩阵变换实现配准；特征级融合可容忍弱配准。

4、边缘实时计算：采用模型轻量化（剪枝、量化）与专用边缘AI芯片提升推理速度。

5、复杂背景误报：通过对抗训练与多模态交叉验证提升模型泛化性。

河海大学研发的"无人机载式红外-可见双光组合巡测装备"，通过油电混合动力实现单次3.3小时续航，可在7级风、100%湿度、-20℃至50℃环境下作业，最大探测速率达164,880平方米/小时，已入选水利部2024年度重点推广技术。

国际期刊ISPRS（2024年）报道的堤防渗漏出口自动定位方法，基于YOLO检测器在9231张热红外图像上训练，mAP达95.8%，定位误差小于5米，在部分困难条件下甚至优于人工判断。

六、总结

无人机热红外与可见光融合隐患识别，本质是"热异常发现水害、可见光确认病害、AI融合决策"的技术闭环。当前该技术已从实验室走向工程应用，在长江中下游堤防等场景开展试点，正朝着更高精度、更强实时性、更低误报率的方向演进，成为现代堤防安全管理的"智慧眼睛"。