4月27日，2021N.Game网易游戏开发者峰会（以下简称峰会）在线上举行。
在第二天的技术论坛上，网易互娱AI实验室技术总监林跃发表了题为《当游戏遇见AI》的演讲，探讨了AI在美术资源生产、玩家体验优化、以及游戏运营和营销的支持。 分享了多方面的探索成果。
为了提高阅读体验，内容已被删除。 以下为手游那点小事整理的演讲全文：
大家好，我是网易互娱AI实验室的林跃。 我很荣幸与您分享我们的一些成果。 今天我分享的标题是《当游戏遇见AI》，我将介绍网易互娱AI实验室如何利用AI技术赋能游戏开发和运营。
一、人工智能与游戏的起源
事实上，AI和游戏一直密不可分，人类在这方面也做了很多探索。
早在1952年2d动作卡牌游戏制作，科学家就已经尝试利用人工智能技术让机器打败人类。 最近特别出名的几款机器人包括在围棋界掀起波澜的AlphaGo和AlphaZero； AlphaStar，在《星际争霸》中大显身手； 还有 Pluribus，它在德州扑克中击败了世界顶级玩家。
这些机器人的最终目标是击败职业选手，证明人工智能的决策和计算能力。
除了游戏AI方向之外，人们还发现，通过2D、3D视觉技术、语音处理、自然语言处理等AI技术的运用，可以彻底优化玩家的游戏体验。 这也将是AI技术更大的发展。 的价值。
自成立以来，互娱AI实验室一直致力于为游戏AI赋能，并将技术落地。 这里列出的也是我们在游戏领域应用的一些实践想法和见解。
从美术资源制作到游戏体验优化再到运营营销，AI可以赋能游戏各个领域，帮助降低开发成本，显着提升制作质量和效率。 我们希望通过领先的AI技术推动行业技术创新，为游戏行业带来新的突破点。
2、AI赋能游戏，降低研发成本
网易互娱AI实验室成立时的主要目标是降低游戏开发成本。 考虑到现阶段游戏开发成本较高，我们在降低成本方面做了很多尝试和探索。 下面我给大家介绍一些具体的实际场景，同时也对一些固定的场景做一个简单的技术介绍。
(1)语音驱动嘴巴动画技术
首先，我们这里介绍的是语音驱动的嘴巴动画技术。
游戏内容非常重视角色设计，这就需要大量的剧情动画来完善游戏的角色设计。 为了让角色栩栩如生，游戏公司需要为这个角色录制大量的配音演员对话。 当游戏角色读到这些对话时，策划者也希望这些角色能够有更生动的面部表情和正确的嘴型。
然而，嘴型和面部表情的制作成本非常高。 目前，AI技术已经可以根据语音生成相应的表情和嘴型。 这大大提高了艺术动画的制作效率2d动作卡牌游戏制作，降低了制作成本。 目前，该技术已在网易多款游戏中实现，比如已经推出的《梦幻西游3D版》、《时空彩绘行者》、《神城夜游》等。
目前这个技术非常稳健，支持不同的引擎，比如我们自主研发的Messiah、NeoX引擎，包括其他商业引擎。 它已经能够支持多种语言，包括中文、英语、日语、韩语等。无论是说话还是唱歌，这项技术都可以完美对齐嘴巴并生成相应的表情。
当有些游戏还没有对应的语音文字时，我们也可以利用该技术来生成对应的嘴巴动画。 针对不同的游戏风格和类型，如2D、3D、二维、写实、古风等，生成的嘴型和表情都有较好的效果。
这里简单介绍一下其背后的技术，整个流程是这样的。
首先我们需要制作一些嘴巴模板。 当然，不同语言使用的模板也会有一些差异。 在实际操作过程中，我们需要同时输入语音和相应的文本，并利用语音识别技术进行逐帧对齐。 不同的框架将对齐不同的音素。 根据对齐结果，我们使用模板融合权重生成算法计算每一帧对应的嘴形模板，最终输出的是整个嘴形动画帧。
我们之前也提到过，不需要直接提供语音文本。 这时，利用CTC与边界检测算法相结合等语音识别技术，也可以达到自动生成嘴形的效果。
(2) 风格化头部模型生成
要介绍的第二项技术是程式化头部模型生成。
在现在的游戏领域，除了写实风格外，《阿凡达》还拥有日本漫画、美国漫画、科幻、唯美等多种不同的游戏风格。 与真实模型相比，可供参考的头部模型较少。 因此对于艺人来说，制作头部模型的成本会比较高，周期会延长，进程也会比较慢。
为了解决这个问题，我们开发了一种自主开发的风格化头部模型生成算法。 工作室只需要提供少量符合游戏风格的头部模型，就可以批量生成相同风格的头部网格。
下面显示了两个示例。
第一个例子是与《猎王》的合作。 左上角是制作者提供给我们的游戏角色资源。 在实际应用过程中，我们只需要输入真实图像即可生成符合游戏风格的头部模型。 当然，制作方还需要进行微调。
第二个例子可以更清楚地说明这种技术。 这是与游戏《国土安全》的合作。 这款游戏的脸部模型风格非常独特。 基于这些游戏角色资源，算法可以产生相应的效果。 整个头部模型生成后，可以直接放入游戏中，生成适合游戏风格的不同NPC资源。
下面简单介绍一下整个过程。 首先，输入一张图片，我们需要对其进行模板预处理，然后进行人脸检测和面部关键点对齐，然后进行3D人脸重建。
由于人脸重建的结果很可能与厂商提供的头部模型的拓扑不同，因此我们还需要进行另一个步骤，称为拓扑对齐。
下一个非常重要的步骤称为形状风格化。 即对制作者提供的人脸模型进行风格化，对3D模型进行风格变换，生成相应的纹理风格化图，最后将资源输出给游戏方。
这里显示的是拓扑对齐的这一步。
重建的脸部和游戏制作人提供的脸部样式就是下面左图的两张图。 我们需要使用网格变形解决方案来拓扑对齐这两个拓扑完全不同的人脸模型。
然后根据一些特征规则和部件组合的方式，首先对五官进行分解，然后按照五官的不同顺序进行组合，最后添加头骨，使生成的图像符合游戏风格。
(3)面部动作捕捉技术
近年来，用户也喜欢使用智能手机直接捕捉自己的表情，并使用一些应用程序为虚拟角色创建面部表情动画。 针对此，网易互娱AI实验室研发了面部动作捕捉技术。
该技术不仅可以用于离线表情资源制作，还可以用于在游戏中实时捕捉玩家表情，例如制作玩家特定的表情动画或创建UGC内容。
让我们看一个例子。
正如您所看到的，面部动作捕捉技术在捕捉这些微妙的表情时非常准确。 该技术还与浙江卫视合作，为他们的跨年晚会虚拟形象“万一”提供技术支持。 可以看到技术捕捉到的整个嘴型和脸部都非常自然。
当然，这项技术背后还有很多细节。 首先，我们创建了属于网易互娱AI实验室的头部数据库，其中包含通过高精度面部扫描仪获得的500个不同的头部数据。 然后我们组织布线，重新拓扑，然后组合不同的表达方式来构建我们自己的数据库。
下面是表情捕捉的实际过程。
由于求解表情系数是一个非线性优化问题，其效果很大程度上取决于面部特征点。 为了获得更好的效果，我们开发了轻量、高精度的面部关键点跟踪系统来定位细节表情。 对于眨眼检测、视线跟踪和舌头检测，我们还训练了不同的网络以进行准确的跟踪和捕获。
(4)动作捕捉去噪技术
传统的动作捕捉有很多人为的环节。 当我们完成整个动作捕捉数据后，后期需要大量的美术外包修正，因为得到的结果可能不是很连贯，也可能会有抖动。
事实上，人工智能技术可以优化大量的艺术外包工作。 我们在今年的 SIGGRAPH 上发表了一篇动作捕捉论文。 如果您有兴趣，可以看一下。
该算法可以针对后期不同的动作捕捉效果进行优化。 当存在一定量的噪声时，我们的算法明显优于现有算法。 这里有两个对比示例。 现有算法优化后仍然存在脚步抖动问题，但我们的算法表现出很好的一致性。
(5) 视频动作捕捉
下一个引入的技术称为视频动作捕捉。 因为前面提到，传统的硬件动作捕捉需要非常大的拍摄空间、很多高速摄像机以及演员来表演。 再加上复杂的后处理，整个周期会很长，成本也会很高。
然而，通过动作传输技术游戏评测，即使是普通相机拍摄的RGB视频也可以用来捕捉动作。 该算法可以直接从视频中提取动作序列，然后制作者可以直接将动作序列放入相应的游戏角色中。 中间。 玩家还可以创建自己喜欢的动作，比如胜利、庆祝动作等。
该技术还可用于营销输出。 这里我们以《天下3》的舞蹈视频效果为例。 可以看出，通过一个非常简单的RGB视频，可以分析整个动作序列并将其嵌入到游戏角色中。
整个过程就是按照这个顺序进行的。
首先我们需要在第一帧上检测人，这就是Detection过程，然后我们需要定位人体的2D关键点。 因为在第一帧中，我们已经通过Detection检测并定位了人的位置，而在后续帧中，我们可以直接使用tracking来追踪。
经过2D Pose Estimation之后，因为是RGB视频，但是我们最终需要的是3D结果，所以会有一个3D Pose Estimation的过程来得到3D点。
因为我们是以帧为单位获取结果的，所以帧之间的信息可能没有被充分利用，并且会存在一些抖动。 因此，还会有一个Refinement过程来平滑视频动作。
然后，将3D点重新投影到2D点位置进行比较，并需要后处理算法来自动校正许多艺术更关心的细节，例如重心、脚步、胯部等。
(6)自动插帧
下面介绍的技术称为自动帧插入。
二维游戏会包含大量的动态图形，每个动态图形都需要美术师逐帧进行处理。 为了提高美术速度，我们开发了一个工具。
事实证明，艺术家需要很长时间才能创作出每秒 30 帧的动画。 现在通过这个算法，我们只需要美术师K出第一帧和最后一帧，中间的其他帧就可以直接插入到使用该算法的帧中，达到提高效率的目的。
比如展示的两张动态图，左边其实是艺人K的效果，右边是使用算法的效果。 即美术只提供第一帧和最后一帧游戏图片，其余的由算法自动完成。 可以看出，它们的效果并没有太大的区别。
(7)资源过载
下一个技术是资源过度使用。
事实上，国内外很多游戏公司都会探索和尝试这个话题，因为对于游戏公司来说，游戏的质量也需要随着时间的推移而提高。 对于过去的游戏纹理资源，游戏公司需要升级。
这里展示的是一些国外已经公映过的效果，比如《重返德军总部》、《毁灭战士》等。 他们都利用这项技术来快速重制资源，提高玩家的游戏体验。
然后我们还和《天下3》进行了合作，通过对旧纹理资源进行超分和去噪，对游戏资源的纹理进行了升级。 可以看到，通过使用该算法，游戏纹理的精细度得到了很大的提升。 整个过程完全由算法实现，不需要艺术家的参与。
(8)纹理变换
接下来介绍的技术与纹理变换有关。
如今，许多游戏通过销售服装、武器和皮肤来创收。 很多策划者对于新服装本身都有很棒的想法，但是美工不可能将策划者的每一个想法都实现，然后在游戏中进行比较并选出最好的供玩家购买，因为这是非常成本的——密集的。
针对这种情况，我们设计了一种算法，可以根据真实服装的图片生成纹理，然后将其放入3D模型中，以便规划人员可以非常快速直观地看到最终效果。
武器皮肤也是如此。 策划者输入一张他希望得到的新武器皮肤的大致配色图，就可以快速生成预览效果。 根据这样的效果图，制作团队可以更高效地做出决策。
3、AI赋能游戏，优化玩家体验
除了第一部分介绍的降低开发成本的探索和尝试外，我们也在思考第二个问题，即如何利用AI技术给玩家带来全新的游戏体验？
（一）优化匹配机制
常规匹配基本都是根据战力进行匹配，但我们发现除了战力平衡之外，一些社交目标匹配也能为游戏带来更好的效果。 例如，之前不认识的玩家可能会在玩了几局游戏后组建团队或添加好友，然后继续玩。 这也会对整个游戏产生积极的影响。
因此，我们在匹配算法上也做了很多优化尝试，加入了很多社交目标。 在实际应用过程中，我们发现这些因素对于玩家在游戏内的社交积累有着很大的积极影响。
(2)自动捏脸
现在很多游戏都有捏脸系统，并且已经成为很多游戏尤其是MMORPG的标配功能。 在做鬼脸的过程中，有的玩家想让角色看起来像自己，有的玩家想让角色看起来像偶像。 不过，有些玩家可能不擅长这样做，所以我们设计了一种算法来自动生成捏脸效果。
这时，玩家只需要上传自己或者偶像的照片，算法就会直接找到最优的捏脸参数，并在游戏中一键生成。 这项技术也已经实现并应用在《沂蒙江湖》等游戏中。
(3)语言交互功能
语音交互的功能在我们的现实生活中已经很常见了。 我们也和很多工作室在语音交互和控制方面实现和应用了一些技术。
在这里您可以看到三个示例。
第一个例子是《后天》，主要讲述人与宠物之间的简单交流和互动。
第二个例子是《哈利波特：魔法觉醒》中飞行课的例子。 在游戏中的这个“飞行课”中，要求玩家背诵指定的咒语，系统会判断玩家背诵的咒语是否正确。
这是一个更有趣的例子。 我们为“移动城市阿尔法”做了语音唤醒和语音匹配功能。 玩家可以通过语音控制释放技能，控制技能的声音是完全定制和匹配的。
也就是说，玩家想要用来驱动游戏角色的语音命令是可以完全定制的。 实际操作时，玩家只需喊出一声，系统就会自动识别该命令并释放技能。
在识别过程中，系统可以确定声音的来源。 即使说出命令但不是输入命令的玩家的声音，系统也不会做出反应。 我们也在顶级语音会议INTERSPEECH 2020上公布了这项技术，有兴趣的可以看一下。
(4) 基于音乐的舞蹈生成
接下来要介绍的是自动生成舞蹈的功能。 因为有些二次元内容很受欢迎，游戏开发商也会希望有这样的功能用于游戏资源的制作，并提供这样的UGC制作渠道。 针对这一需求，我们开发了基于音乐生成舞蹈的功能，相关技术也在今年的 SIGGRAPH 上发表。
我们可以看两个不同的例子。 首先，这是根据英文歌曲生成的舞蹈。 可以看到节奏点非常准确。
除了英文歌曲之外，这项技术还可以实现中文歌曲的效果。 不同的音乐类型也会呈现不同的舞蹈效果。
目前，该技术已在《暗潮之上》中使用，生成游戏中所需的舞蹈资源。 您只需输入一段音乐，即可生成相应的角色舞蹈。
(5) 文本生成
另外，我们还使用了很多NLP相关的技术与游戏工作室合作，为他们游戏中的功能提供技术支持，比如生成对联、自动写诗、风格化昵称推荐等，都是基于NLP技术支持的。
(6)语音合成
语音合成也是我们一直在探索并尝试实现的一项技术。 通过深度学习解决方案，我们可以达到更好的语音合成效果。
可以看《决战！》 《平安京》的剧情编辑示例。 这部分是完全合成的，包括编辑器的所有声音。 玩家可以选择编辑剧情。
同时，还可以通过该技术直接实时生成系统提示。 这里我们找了一个吃鸡的视频，然后简单的在里面做了一些配音。 你可以看一下。
这里的数字基本上都是动态的，整个语音都是实时生成的。
我们一直希望用最少的音频数据来创造出质量更好的合成效果。 INTERSPEECH 2020上也发表了一些相关技术，有兴趣的可以看一下。 主要做法是对未标记的非并行数据进行预训练，使其整体合成效果更好。
(7) 音调转换
音调转换也是一个热门的研究方向，在狼人游戏中很有前景。 试想一下，当你在玩狼人杀游戏时，你可以用柯南的声音来玩。 这会大大增加游戏的乐趣吗？
在这里您可以看到原始声音和目标声音之间的转换效果示例。 可见，这项技术能够更好地保留说话者的情感和内容。
(8)平衡测试
在游戏领域，我们基于强化学习进行了很多不同的尝试和应用，包括平衡性测试。
例如，在赛车游戏中，规划设计时会有很多不同的车辆参数和不同的赛道，规划者也想知道车辆在这些赛道上的实际表现如何。 通过AI技术，可以快速生成赛道与车辆之间不同的组合效果。
另一个例子是纸牌游戏。 当不清楚修改数值后会对整个游戏的平衡性产生多大影响时，也可以利用该技术进行模拟测试，将数据反馈给策划者。
值得一提的是，当我们参加Google Football AI竞赛时，我们发现了一些有趣的内容。 整个游戏过程中没有玩家数据可供学习，但人工智能可以自动学习许多有趣的决策。
例如，这款游戏中没有“传球”按钮，但AI会通过自动学习左右“晃动”摆脱防守者。 诸如“地下通道”之类的技术也可以通过人工智能来学习。 你甚至可以学习反击，比如“单球”。 防守时，AI可以主动铲球等，这实际上是算法自动学习的结果。
4. AI与游戏运营及营销
最后是AI在运营和营销方面的尝试和应用。
(1)游戏环境监控平台
我们会利用AI技术来检测一些图像、文字、语音内容，净化整个游戏环境，防止玩家上传一些不合规的图片或者一些影响玩家体验的语音内容。
这将涉及图像识别、物体检测、人脸检测与识别、OCR、文本分类、语音识别等各种面向人工智能的技术。
（2）利用AI换脸进行营销活动
我们还与很多工作室合作了AI换脸技术，并利用该技术开展营销活动。 例如，玩家可以上传照片来替换海报中的面孔，获得自己的游戏图片，这大大提高了玩家的积极性和参与度。
（三）通过AI综合技术打击作弊
最后，也是非常重要的一点，我们会配合工作室、游戏程序、游戏运营，利用异常行为检测和视觉技术，对游戏中的作弊、作弊行为进行监控和打击，保证良好的整体游戏环境。
以上就是我今天给大家分享的网易互娱AI实验室这段时间在游戏中AI赋能的尝试和思考。 也希望以后有更多的成果与大家分享，谢谢。
文章来源:https://game.academy.163.com/course/careerArticle?course=610&isMaster=0
