天大团队提出强化学习自动发现游戏bug
荣获顶会最佳论文
近日，天津大学智能与计算学部孟昭鹏教授、郝建业副教授团队, 同网易伏羲人工智能实验室、NTU合作完成ASE 2019 论文《Wuji: Automatic Online Combat Game Testing Using Evolutionary Deep Reinforcement Learning》。该工作发表在软件工程领域顶级会议34th IEEE/ACM International Conference on Automated Software Engineering (ASE 2019)，并荣获ASE 2019最佳论文奖(Distinguished Paper Award)。
该论文主要融合了进化算法与深度强化学习算法，从多目标优化的角度2d素材，旨在解决大规模商业游戏的自动化智能测试问题。长久以来，游戏测试一直被认为是一项极具挑战性的任务。在工业界，游戏测试一般使用脚本测试以及手动测试相结合的形式。时至今日，自动化游戏测试的研究仍然处于初级阶段，一个主要原因是玩游戏本身是一个持续决策的过程，而游戏缺陷（bug）往往隐藏的较深，只有当某些困难的中间任务完成后，才有可能被触发，这就要求游戏测试算法拥有类人的智能。
近年来，深度强化学习算法（DRL）取得的非凡的成功，特别在游戏控制领域，甚至表现出了超越人类的智能，这为推进自动化游戏测试提供了启示。然而，既有的DRL算法主要关注如何赢得游戏，而不是游戏测试，导致其可能无法广泛地覆盖需要测试的分支场景。
为此，该论文首次实时游戏测试框架Wuji，通过融合了进化算法电脑游戏设计，DRL算法和多目标优化机制，实现了智能的自动化游戏测试。并针对四款网易游戏产品中的1349个真实bug进行深入分析，使用一个仿真游戏和两个大型商业游戏对Wuji算法效果进行了大规模评估，结果证明了Wuji在探索游戏状态空间方面以及检测bug方面的有效性。此外，Wuji算法还检测到了游戏中先前从未被发现过的漏洞电脑游戏设计游戏图片，进一步论证了算法的有效性。
Wuji - 基于多目标优化的进化强化学习框架
实验结果
研究人员在仿真迷宫环境(Block Maze)和网易游戏《倩女幽魂》（L10）与《逆水寒》(NSH)上分别进行了实验，实验结果证明了Wuji在探索游戏状态空间方面以及检测bug方面的有效性，还发现了现未知的漏洞。
往期精彩内容回顾
内容提供/ 智能与计算学部
今日小编/ 朱婉嘉 王利丹 林桢熠
底图设计 / 王旺
