近日,第31届IEEE 国际软件分析、演化与重构会议(简称 SANER)在芬兰罗瓦涅米召开,SANER是中国计算机学会推荐的 B 类国际学术会议,是软件工程领域最新研究成果和创新想法交流的重要平台。SANER关注的核心领域包括软件系统分析、演化和重构,旨在提高软件系统的可维护性、可理解性和可靠性。作为软件工程领域的一项重要会议,SANER汇聚了来自世界各地的学术界和工业界的研究人员、学者和实践者,共同探讨并解决软件系统面临的挑战和问题。
软件学院师生在本届SANER会议中有两篇论文被录用,第一作者分别为博士生杨艺欣和硕士生洪硕。其中,硕士生洪硕作为第一作者的论文“Investigating and Detecting Silent Bugs in PyTorch Programs”获得IEEE Computer Society TCSE Distinguished Paper Award,这是北航首次以第一作者单位在SANER会议上获奖。论文的合作老师为软件学院孙海龙教授、高祥副教授和加拿大Concordia大学的Shin Hwei Tan副教授。
论文获奖证书图片
该论文针对深度学习程序中的静默缺陷(silent bugs)开展了首次深入研究。静默缺陷是一类特殊的缺陷,它们会导致错误的行为,但不会引起系统崩溃或挂起,也不会向用户显示错误信息,因此更难被开发者发现、定位和修复。作者收集了 PyTorch 官方论坛上的 14,523 个帖子,并使用基于大语言模型的半自动方法筛选出其中的静默缺陷。通过分析这些缺陷的症状、根本原因和模式,作者得出了几个重要发现和启示:
(1)大多数静默缺陷会导致异常输出,因此需要设计更灵活的测试预言(test oracle)来检测它们;
(2)静默缺陷的症状和根本原因范围很广,且不一定存在一一对应关系,这使得检测和调试静默缺陷更具挑战性;
(3)静默缺陷呈现出一些常见的缺陷模式,如冗余、遗漏或错位的操作。
基于上述发现,作者设计并实现了一个可扩展的基于规则的工具 PysiAssist,以帮助开发者调试和解决静默缺陷。评估结果表明,PYSIASSIST 的精确率达到 92.4%,召回率达到 85.3%,优于现有技术。
论文报告照片
洪硕同学参会照片