【光熙博士生学术论坛讲座】

讲座人：戴翊靖 博士生

题目：基于分层多准则表示融合的不完备多模态情感分析

时间：2025年12月8日8:30-9:30

地点：L1512

讲座内容：

随着多模态情感分析研究的深入，提升模型对缺失数据的鲁棒性这一挑战近年来受到越来越多的关注。现有研究多基于语句级情感分析展开，核心是从输入的多模态序列中提取向量表示，进而完成情感识别任务。但多数研究将重点放在挖掘跨模态相关性上，却忽视了特征融合过程中序列帧间动态的语义变化。针对这一问题，本研究提出了层级多准则表示融合框架，能够有效捕捉帧间与模态间的动态语义信息。该框架包含序列融合和信息传递两大核心部分：在序列融合环节，设计了层级跨模态语义感知机制与多准则特征融合机制，二者协同作用以缓解单模态情感偏差，并逐步整合不完整的序列特征；在信息传递环节，通过层级信息蒸馏与高层语义重构，在训练过程中将完整视图的特定属性及情感信息传递至不完整视图。多个基准数据集上的大量实验结果一致表明，该方法性能显著优于现有基准模型。