【光熙博士生学术论坛讲座】

讲座人：饶隽 博士生

题目：面向大语言模型的高效数据利用技术研究

时间：2026年11月8日  14:00-15:00

地点：信息楼1912

讲座内容：

大语言模型的训练包括指令微调、偏好对齐和知识蒸馏等阶段，随着模型规模与算力持续增长，高质量数据不足及数据利用效率下降逐渐成为制约模型性能提升的关键瓶颈。本研究围绕"数据供给方式如何与模型能力状态相匹配"这一核心问题，按照数据组织、动态选择、偏好数据合成与知识分布适配四个递进层次展开：提出CommonIT方法，利用数据共性优化训练批次构成；提出SAI-DPO方法，依据模型自感知难度动态选择偏好数据；提出PACE方法，通过低预算纠正性探索将失败轨迹转化为高信息量偏好数据；提出OKD方法，借助在线LoRA适配实现教师知识分布随学生状态动态调整。上述方法在多种模型与基准上实现了样本效率、候选探索效率与计算效率的同步提升，为大语言模型的高效训练、偏好对齐与模型压缩提供理论依据和技术支撑。