讲座题目:大语言模型幻觉现象的发现与缓解
讲座时间:2024年3月14日 10:00-11:30
讲座人:崔乐阳 博士
地点:L1417
讲座内容:
本报告简要概述了缓解大型语言模型幻觉的最新发展,并重点介绍了我们的最新研究成果:ICD,一种基于解码的幻觉缓解算法。类似于OpenAI提出的weak-to-strong generalization,我们利用事实性较弱的模型来指导事实性较强的模型。在解码过程中,ICD通过优化一个更易产生与主模型相似事实错误的模型,并在解码时将其作为惩罚项。实验结果表明,在不影响模型的通用性能的情况下,ICD帮助Llama2-7B-Chat在事实性上达到了ChatGPT的性能,而Mistral-7B-Instruct则达到了GPT4的水平,欢迎同学们积极关注与参与。
讲座人简介:
崔乐阳,博士,腾讯AI Lab高级研究员。研究兴趣主要包括自然语言处理和大模型对齐。他在人工智能顶级会议和期刊上发表30多篇学术论文,并受邀担任领域主席,谷歌学术引用1400余次,曾获ACL 2023最佳论文提名。