计算机科学与技术学院欢迎你 |

新闻通知

  • 重要新闻
  • 综合新闻
  • 讲座通知
  • 学生工作
  • 通知公告

光熙论坛(第95期)大语言模型幻觉现象的发现与缓解

来源: 作者:发布时间:2024-03-13阅读:

座题目:大语言模型幻觉现象的发现与缓解

讲座时间:2024年3月14日 10:00-11:30

讲座人:崔乐阳 博士

地点:L1417

讲座内容:

本报告简要概述了缓解大型语言模型幻觉的最新发展,并重点介绍了我们的最新研究成果:ICD,一种基于解码的幻觉缓解算法。类似于OpenAI提出的weak-to-strong generalization,我们利用事实性较弱的模型来指导事实性较强的模型。在解码过程中,ICD通过优化一个更易产生与主模型相似事实错误的模型,并在解码时将其作为惩罚项。实验结果表明,在不影响模型的通用性能的情况下,ICD帮助Llama2-7B-Chat在事实性上达到了ChatGPT的性能,而Mistral-7B-Instruct则达到了GPT4的水平,欢迎同学们积极关注与参与。


讲座人简介:

崔乐阳,博士,腾讯AI Lab高级研究员。研究兴趣主要包括自然语言处理和大模型对齐。他在人工智能顶级会议和期刊上发表30多篇学术论文,并受邀担任领域主席,谷歌学术引用1400余次,曾获ACL 2023最佳论文提名。


× 学术夏令营 招生信息