【光熙博士生学术论坛讲座】

讲座人：田超 博士生

题目：基于稀疏跨模态融合的高效 RGB-T 目标检测

时间：2026年9月11日16: 00-17: 00

地点：L1512

讲座内容：

现有 RGB-T 目标检测方法通常采用双分支骨干网络分别提取可见光与热红外特征，并在整幅图像范围内进行多尺度、密集的跨模态交互与融合。虽然这类方法能够充分利用两种模态的互补信息，但其核心问题在于：真实场景中真正需要跨模态协同的区域往往只占图像的一小部分，尤其是行人、车辆等目标区域，而大面积天空、道路、墙体等背景区域的信息较为简单，对这些区域持续进行复杂的双模态特征提取和融合会产生大量冗余计算；随着输入分辨率提高，这种“全图密集融合”带来的计算与显存开销会迅速增长，也限制了模型在高分辨率和实时应用中的可扩展性。我们提出 SFEDet，将传统“先全局融合、再检测”的范式转变为“先定位潜在目标、再进行稀疏融合”：首先利用轻量级单模态检测器快速生成具有较高召回率的候选区域，再仅针对这些可能包含目标的区域调用另一模态信息进行跨模态特征融合，并通过逐步边界框精修提升定位质量。该方法的核心思想是把有限的计算资源集中到真正具有多模态互补价值的区域，在避免大规模背景冗余计算的同时，仍能够充分利用 RGB 与热红外信息，从而兼顾检测精度、计算效率和高分辨率场景下的可扩展性。