报告：基于大语言模型的程序修复与记忆现象探索

报告时间：2024年12月16日10:00-11:00

报告地点：理科大楼B1002

报告摘要:

大语言模型在多个领域展现了卓越能力，尤其是在代码生成任务中表现尤为突出。本报告将首先介绍一种基于大语言模型的自动程序修复方法，该方法通过提供对比测试用例对（test case pair）来提高模型定位错误的能力。同时，随着大语言模型在代码生成和程序修复方面取得显著提升，其对大规模训练数据的依赖引发了一个关键问题：这些性能提升是否来源于模型的真实理解，还是依赖于数据记忆？为探讨这一问题，我们进一步提出了一种基于假设检验的方法，用于分析自动程序修复场景下的大语言模型记忆现象。初步研究结果显示，模型生成的许多修复与记忆密切相关，这进一步强调了在基于大语言模型的代码相关任务中引入更加稳健和严谨的评估方法的重要性。

报告人简介:

谢肖飞，新加坡管理大学助理教授，曾任新加坡南洋理工大学校长博士后。2018年于天津大学获得博士学位，并获得CCF 优秀博士论文奖以及ACM 天津区优秀博士论文奖。目前致力于程序分析、软件测试以及人工智能安全测试等研究领域。其研究成果已经发表于人工智能、软件工程以及安全领域等顶级会议与期刊，其中四次获得ACM SIGSOFT 杰出论文奖 。