讲座题目：SAILING讲坛暨硕博论坛第2期-通用人工智能？ChatGPT的机遇与挑战
讲座时间：2023年2月24日下午14:00-17:30
讲座人：黄民烈、冯骁骋、王文轩、孙天祥
讲座地点：T3401
讲座内容：
一、 SAILING讲坛
1. 黄民烈（副教授），清华大学
题目：从chatGPT看深度生成模型的机会和挑战
摘要：OpenAI推出的ChatGPT无疑引爆了AI和科技界的原子弹，但光速出圈的背后更值得我们冷静思考。深度生成式AI技术似乎给遥远的AGI带来了一线光明。讲者将分享其在大规模生成模型中的研究和实践，尤其是在近AGI背景下人机交互、对话系统研究的进展、机会和挑战。
2. 冯骁骋（副教授），哈尔滨工业大学
题目：ChatGPT的过去、现在与未来
摘要：通用人工智能一直被认为是人工智能研究的终极目标之一，2022年12月美国人工智能公司OpenAI所推出的ChatGPT生成式对话预训练模型首次被外界认为已实现了部分通用人工智能的能力，是弱人工智能向强人工智能迈出的重要一步。用户只需使用自然语言输入问题，聊天机器人则会给出会话式的答案且支持多轮连续交互，该系统受到学术界、工业界和日常用户的广泛关注，短短5天用户量突破100万。然而遗憾的是该系统最新相关算法和模型并未公布和开源，但正如罗马不是一天建成的，ChatGPT有着一系列前序模型。本次报告根据现有已公开论文和资料对ChatGPT的基本原理、主要算法、发展现状及前沿应用进行介绍。
二、 硕博论坛
1. 王文轩（博士生），香港中文大学
题目：上下文学习（In-Context Learning）
摘要：随着大语言模型能力的不断提升，上下文学习已经成为自然语言处理中的一种新的重要范式，即在不进行参数更新的情况下，只在输入中加入几个示例就能让模型进行学习。本次报告结合最新的论文，介绍了现阶段上下文学习的进展和主要研究方向，以及当前上下文学习领域的不足和挑战。
2. 孙天祥（博士生），复旦大学
题目：黑箱优化: 为大模型实现梯度自由
摘要：预训练语言模型已在各类常见自然语言处理任务上取得了与人类媲美的性能，而这一结果通常是通过梯度下降对预训练语言模型的全部或部分参数进行微调得到的。然而，梯度下降的优化复杂度与模型规模成正比，随着预训练模型规模的急剧增长，其优化成本也显著增加，成为实际落地中的一大困难。针对这一问题，我们提出了黑箱调优方法，在不访问模型参数和梯度的情况下对用户输入进行优化，在多个少样本学习任务上仅优化千分之三的参数取得了和全参数微调相仿的性能。
讲座人简介：
1. 黄民烈博士，清华大学长聘副教授，国家杰青获得者，聆心智能创始人，自然语言生成与智能写作专委会副主任、CCF学术工委秘书长。他的研究领域为大规模语言模型、对话系统、语言生成，著有《现代自然语言生成》一书。曾获得中国人工智能学会吴文俊人工智能科技进步奖一等奖（第一完成人），中文信息学会汉王青年创新奖等。在国际顶级会议和期刊发表论文150多篇，谷歌学术引用13000多次，h-index 57；多次获得国际主流会议的最佳论文或提名（IJCAI、ACL、SIGDIAL等）。研发任务型对话系统平台ConvLab、ConvLab2，世界上最大的中文对话大模型EVA、OPD，智源中文大模型CPM的核心研发成员，研发AI乌托邦拟人对话交互平台。担任顶级期刊TNNLS、TACL、CL、TBD编委，多次担任自然语言处理领域顶级会议ACL/EMNLP资深领域主席。
2. 冯骁骋，哈尔滨工业大学计算学部社会计算与信息检索研究中心副教授、博导。智能科学与技术系副主任，中文信息处理黑龙江省重点实验室主任助理。研究兴趣包括自然语言处理、文本生成、机器翻译等。在ACL、AAAI、IJCAI、TKDE、Chinese Science等CCF A/B类国际会议及期刊发表论文30余篇。据Google学术统计，论文引用数量超过2800次，一篇论文入选Paper Digest EMNLP 2020 Top Ten 高引论文。担任NIPS、ICML、AAAI、IJCAI、ACL等国际会议程序委员会高级/普通成员；兼任鹏城国家实验室双聘副研究员、中国中文信息学会自然语言生成与智能写作专委会副秘书长、中国计算机协会哈尔滨YOCSEF副主席等。入选中国科协第六届青年人才托举工程，曾获一级学会中国中文信息学会优秀博士学位论文奖、黑龙江省科技进步二等奖，2022年世界人工智能大会(WAIC)-云帆奖。主持科技创新2030—新一代人工智能重大项目子课题一项、国家实验室重点项目课题一项、国家自然科学基金面上和青年项目各一项；黑龙江省重点研发项目一项、黑龙江省优秀青年基金一项，MSRA Collaborative Research Program；与华为、腾讯、科大讯飞、微软等国际一流互联网公司保持长期科研合作关系。
3. 王文轩，香港中文大学计算机系三年级博士生，研究方向是自然语言处理模型和软件的可靠性。
4. 孙天祥， 复旦大学计算机学院博士生，师从邱锡鹏教授和黄萱菁教授，研究兴趣为自然语言处理、预训练语言模型。在ICML, AAAI, ACL, EMNLP, NAACL, COLING等领域顶会发表论文十余篇，被引用1000余次。