4月27日，2021N.Game网易游戏开发者峰会（以下简称峰会）在线召开。
在第二天的技术论坛上，网易互动AI实验室技术总监林悦发表了题为《当游戏遇上AI》的演讲，重点介绍了AI在美术资源生产、玩家体验优化、游戏等方面的支持。运营和营销等方面的探索成果进行了分享。
为了提高阅读体验，内容被删减。 以下为手游整理的演讲全文：
大家好，我是网易互娱AI实验室的林悦。 我很荣幸与您分享我们的一些成就。 今天分享的主题是“当游戏遇上AI”，介绍网易互娱AI Lab如何用AI技术赋能游戏开发和运营。
一、AI与游戏的起源
事实上，AI和游戏一直密不可分，人类在这方面也做了很多探索。
早在1952年，科学家们就尝试过利用AI技术让机器打败人类。 最近特别出名的几款机器人包括AlphaGo和AlphaZero，它们搅动了围棋界的局势；
这些机器人的最终目标是击败职业玩家，从而证明人工智能的决策能力和计算能力。
除了游戏AI的方向，人们还发现通过2D、3D视觉技术、语音处理、自然语言处理等AI技术的运用，可以彻底优化玩家的游戏体验，这也将是一个更强大的人工智能技术。 价值所在。
虎鱼AI实验室自成立以来，一直致力于为游戏AI赋能和技术落地。 这里也列出了我们在游戏领域应用的一些思考和感悟。
从美术资源制作到游戏体验优化再到运营营销，AI可以赋能游戏的各个环节，帮助降低开发成本，大幅提升制作质量和效率。 我们希望通过领先的AI技术推动行业技术革新，为游戏行业带来新的突破点。
2、AI赋能游戏降低研发成本
网易互娱AI Lab成立时，主要目标是降低游戏开发成本。 考虑到现阶段游戏开发成本较高，我们在降低成本方面做了很多尝试和探索。 下面会为大家介绍一些具体的实际场景，也会针对一些固定的场景做简单的技术介绍。
(1) 语音驱动的嘴部动画技术
首先，我们这里介绍的是语音驱动的嘴巴动画技术。
游戏内容对角色设计非常重要，需要大量的剧情动画来完善游戏角色的角色设计。 为了让角色栩栩如生，游戏公司需要为角色录制大量的配音演员对话。 当游戏角色阅读这些对话时，策划者也非常希望这些角色能够拥有更加生动的面部表情和端正的嘴型。
但是，制作嘴型和面部表情的成本非常高。 目前，人工智能技术已经可以根据语音生成相应的表情和嘴型。 这大大提高了美工的动画制作效率，降低了制作成本。 目前，该技术已经在多款网易游戏中实现，如《梦幻西游3D版》、《画中时空行者》、《神都夜行录》等。
目前这个技术非常稳健，支持不同的引擎，比如我们自研的Messiah，NeoX引擎，以及其他商用引擎。 已经能够支持多种语言，包括中文、英文、日文、韩文等。无论是说话还是唱歌，这项技术都能完美对齐嘴型，并生成相应的表情。
当一些游戏还没有对应语音文字的时候，我们也可以利用这个技术来生成对应的嘴巴动画。 针对不同的游戏风格和类型手机游戏开发流程图，如2D、3D、二次元、写实、古风等，生成的口型和表情效果更佳。
这里简单介绍一下它背后的技术，整个过程大概是这样的。
首先，我们需要制作一些嘴型模板。 当然，不同语言使用的模板会有一些差异。 在实际操作过程中，我们需要同时输入语音和相应的文字，并使用语音识别技术进行逐帧对齐，不同的帧会对齐不同的音素。 根据对齐结果，我们使用模板融合权重生成算法计算每一帧对应的嘴巴模板，最终输出整个嘴巴动画帧。
我们之前也提到过，不能直接提供语音文本。 此时，通过结合CTC和边界检测算法等语音识别技术，也可以达到自动生成嘴型的效果。
(2) 程式化头部模型生成
第二种要介绍的技术是风格化的头部模型生成。
目前，游戏领域的阿凡达除了写实风格外，还有日系卡通、美系卡通、科幻、唯美等多种不同的游戏风格。 与真实模型相比，这类参考的头模较少，所以对于美术来说，制作头模的成本会比较高，而且周期会延长，流程也会比较慢。
针对这个问题，我们开发了一种生成程式化头部模型的算法。 工作室只需要提供少量符合游戏风格的头部模型，即可批量生成相同风格的头部模型。
下面显示了两个示例。
第一个例子就是与《猎人之王》的合作。 左上角是制作方提供给我们的游戏角色资源。 在实际应用过程中，我们只需要输入真实的图像，就可以生成符合游戏风格的头部模型。 当然，制作方需要进行微调。
第二个例子可能会更清楚地展示这种技术。 这是与游戏《家园》的合作。 这款游戏的人脸模型风格很有特点。 基于这些游戏角色资源，算法可以做出相应的效果。 整个头部模型生成后，可以直接放入游戏中生成符合游戏风格的不同NPC资源。
这里也简单介绍一下整个过程。 首先输入一张图片，我们需要将其预处理为模板，然后进行人脸检测和人脸关键点对齐，然后进行3D人脸重建。
因为人脸重建的结果很可能与制作方提供的头部模型的拓扑结构不同，所以我们还需要做一个拓扑对齐的步骤。
下一步非常重要手机游戏开发流程图，称为形状程式化。 即根据制作方提供的人脸模型进行风格化，改变3D模型的风格，生成相应的纹理风格化贴图，最后将资源输出给游戏方。
这里显示的是拓扑对齐的这一步。
重建后的人脸和游戏制作方提供的人脸样式就是下面左边的两张图。 我们需要使用网格变形方案来拓扑对齐这两个具有完全不同拓扑结构的人脸模型。
然后根据一些特征规则和部位的组合方式，先分解五官，然后按照五官的不同顺序进行组合，最后加上头骨，使生成的图像符合游戏风格。
(3) 面部动作捕捉技术
近年来，用户也喜欢用智能手机直接捕捉自己的表情，用一些APP制作虚拟人物表情动画。 针对这一点，网易互娱AI Lab研发了面部动作捕捉技术。
该技术不仅可以用于线下表情资源的制作，还可以用于游戏中玩家表情的实时捕捉，比如制作玩家专属的表情动画，或者制作UGC内容。
让我们在这里看一个例子。
如您所见，面部动作捕捉技术在捕捉这些微妙的表情时非常准确。 本科技还与浙江卫视合作，为其跨年晚会虚拟形象《万一》提供技术支持。 可以看到，该技术捕捉到的整个嘴型和面部都非常自然。
当然，这项技术背后还有很多细节。 首先，我们做了一个属于网易互娱AI Lab的头部数据库，里面包含了500个通过高精度面部扫描仪获得的不同头部数据。 然后，通过组织布线、重新拓扑、组合不同的表达式来构建我们自己的数据库。
以下是表达式捕获的实际流程。
由于求解表情系数是一个非线性优化问题，其效果很大程度上取决于面部特征点。 为了获得更好的效果，我们开发了一个轻量级、高精度的面部关键点跟踪系统来定位细节表情。 对于眨眼检测、注视跟踪和舌头检测，我们还训练了不同的网络以进行精确跟踪和捕获。
(4) 动作捕捉与去噪技术
传统的动作捕捉有很多人工环节。 我们完成整个动作捕捉数据后，后期需要大量的美术外包修正，因为得到的结果可能不是很连贯，会有抖动。
事实上，人工智能技术可以优化大量的艺术外包工作。 我们在今年的SIGGRAPH上发表了一篇关于动作捕捉的论文，有兴趣的可以看看。
该算法可以针对不同的动作捕捉效果进行优化。 当存在一定量的噪声时，我们的算法明显优于现有算法。 这里有两个比较例子。 目前已有的算法经过优化，仍然有脚步抖动，但我们的算法表现出很好的相干性。
(5) 视频动作捕捉
下一个引入的技术称为视频动作捕捉。 因为前面说了，传统的硬件动作捕捉需要非常大的拍摄空间，需要很多高速摄影机，需要演员来表演。 再加上复杂的后处理，整个周期会很长，成本也很高。
但是通过运动传输技术，即使是普通相机拍摄的RGB视频也可以用来捕捉运动。 该算法可以直接从视频中提取动作序列，然后制作者可以直接将动作序列放入相应的游戏角色中。 中间。 玩家还可以创建自己喜欢的动作，比如胜利动作、庆祝动作等。
该技术还可以用于营销输出。 这里我们以《世界3》的舞蹈视频效果为例。 可以看出，通过一个非常简单的RGB视频，就可以分析出整个动作序列，并将其植入到游戏角色中。
整个过程就是这样的顺序。
首先，我们需要对第一帧进行人体检测，也就是Detection过程，然后我们需要定位人体的2D关键点。 因为在第一帧中，我们已经通过Detection检测并定位了人的位置，在后面的帧中，我们可以直接使用tracking的方式进行跟踪。
2D Pose Estimation之后，因为是RGB视频开发学习，我们最终需要的是3D结果，所以会有3D Pose Estimation过程，得到3D点。
因为我们获取的结果是以帧为单位的，所以帧与帧之间的信息可能没有被充分利用，会有一些抖动，所以会有一个Refinement过程来平滑视频的运动。
然后，对比3D点Reprojection和2D点位置，需要一个后处理算法，比较关注艺术，比如重心，脚步，臀部等，自动修正多个细节。
(6) 自动插框
下面描述的技术称为自动帧插入。
一个二次元游戏会包含大量的动态图形，而每一个动态图形都需要美术师一帧一帧的手工制作。 为了提高美术的速度，我们开发了一个工具。
原来艺术家K的一个1秒30帧的动画需要很长时间。 现在通过这个算法，我们只需要艺术家K的第一帧和最后一帧，中间的其他帧可以直接通过算法插入到帧中，达到提高效率的目的。
比如展示的两幅动画，左边其实是美工K的效果，右边是使用算法后的效果，即美工只提供第一帧和最后一帧，剩下的就是由算法自动完成。 可以看出，它们的效果并没有太大的区别。
(7) 资源超额认购
下一个技术是资源超分。
事实上，国内外很多游戏公司都会在这个话题上进行探索和尝试游戏运营，因为对于游戏公司来说，游戏的品质也需要随着时间的推移不断提升。 对于过去的游戏纹理资源，游戏公司需要升级。
这里有一些国外已经PR过的特效，比如《重返德军总部》《末日战士》等等。 他们都利用这项技术来快速复制资源，提升玩家的游戏体验。
然后我们也和《天下3》合作，通过对老贴图资源的资源超分辨率和去噪处理，对游戏资源的贴图进行了升级。 可以看到通过使用这个算法，游戏贴图的精细度有了很大的提升。 整个过程完全由算法实现，不需要艺术家的参与。
(8) 纹理变换
下一个介绍的技术与纹理变换有关。
现在有很多游戏都是靠卖衣服或者卖武器皮肤赚钱的。 而且很多企划对于新衣服本身都有很棒的想法，但是美术不可能把企划的每一个想法都实现出来，然后比较选出最好的放到游戏里让玩家购买，因为这是非常昂贵。
针对这种情况，我们设计了一种算法，可以根据真实服装的图片生成纹理，然后将其放入3D模型中，让策划可以非常快速直观地看到最终效果。
武器皮肤也是如此。 您可以通过输入一张您想要的新武器皮肤的大体配色图片来快速生成预览图。 基于这样的效果图，制作团队可以更高效地做出决策。
3. AI赋能游戏优化玩家体验
除了第一部分介绍的降低开发成本的探索和尝试，我们也在思考第二个问题，如何利用AI技术为玩家带来全新的游戏体验？
（一）优化撮合机制
常规的匹配基本都是以战力为主，但我们发现除了战力的平衡，一些社交目标匹配也会给游戏带来更好的效果。 比如之前互不认识的玩家，玩了几局之后可能会组队或者加好友，然后继续玩下去，这也会对整个游戏产生积极的影响。
所以在匹配算法上，我们也做了很多优化尝试，加入了很多社交目标。 在实际应用过程中，我们发现这些已经考虑的因素对玩家在游戏中的社交积累有很大的积极影响。
(2) 自动捏脸
现在很多游戏都有捏脸系统，而且已经成为很多游戏的标配，尤其是MMORPG。 在捏脸的过程中，有的玩家想把角色捏成自己的样子，有的玩家想把角色捏成某个偶像的样子。 但是，有些玩家可能不擅长这样做，所以我们设计了一种算法来自动生成捏脸效果。
此时玩家只需要上传自己或某个偶像的头像，算法就会直接找到最优的捏脸参数并在游戏中一键生成。 这项技术也得到了落地，在《一梦江湖》等游戏中得到了应用。
(3) 语言交互功能
语音交互的功能在我们的现实生活中已经非常普遍，我们也和很多工作室实现了一些技术在语音交互和控制上的落地和应用。
这是三个例子。
第一个例子是《明日之后》，主要侧重于人与宠物之间的简单交流和互动。
第二个例子是《哈利波特：魔法觉醒》中飞行课的例子。 在游戏中的这个“飞行课”中，玩家需要背诵指定的咒语，系统会判断玩家背诵的咒语是否正确。
这是一个更有趣的例子。 我们为Mobile City Alpha做了语音唤醒和语音匹配功能。 玩家可以通过语音控制释放技能，控制技能的声音完全自定义匹配。
也就是说，玩家想要用什么语音命令来驱动游戏角色，是完全可以自定义的。 实际操作时，玩家只需大声喊出，系统会自动识别指令并释放技能。
在识别过程中，系统可以判断声音的来源。 即使说出了命令，但不是输入命令的玩家的声音，系统也不会做出响应。 我们也在INTERSPEECH 2020上发表了这项技术，有兴趣的可以去看看。
(4) 基于音乐的舞蹈生成
接下来要介绍的是自动生成舞蹈的功能。 因为一些二次元内容很受欢迎，游戏方也会想要这样的游戏资源输出功能，提供这样的UGC输出渠道。 针对这一需求，我们开发了根据音乐生成舞蹈的功能，相关技术也发表在了今年的SIGGRAPH上。
我们可以看两个不同的例子。 首先，这是一首根据英文歌曲生成的舞蹈，可以看出节奏点非常准确。
除了英文歌曲，这项技术还可以实现中文歌曲的效果。 针对不同类型的音乐，也会呈现不同的舞蹈效果。
目前，该技术已应用于《黑潮之上》，生成游戏中所需的舞蹈资源。 你只需要输入一段音乐，角色的舞蹈就会随之生成。
(5) 文本生成
此外，我们还使用了很多NLP相关的技术，与游戏工作室合作，为他们在游戏中的功能提供技术支持，比如生成对联、自动写诗、程式化昵称推荐等，都是基于NLP的技术支持。
(6) 语音合成
语音合成也是我们一直在探索和尝试实现的技术。 通过深度学习方案，我们可以达到更好的语音合成效果。
可以看《决战！ 平安京剧情编辑示例，本段合成，包括编辑器的所有音色，玩家可以选择自主编辑剧情。
同时，在系统提示方面，也可以通过该技术直接实时生成。 在这里我们找到了一个吃鸡的视频，然后在里面做了一些简单的配音，大家可以看看。
这里的数字基本上是动态的，整个语音都是实时生成的。
我们一直希望用最少的音频数据来产生质量更好的合成效果。 一些相关技术也发表在了INTERSPEECH 2020，有兴趣的可以看看。 主要方法是对未标注的非平行数据进行预训练，使其整体合成效果更好。
(7) 音色转换
音色转换也是一个热门的研究方向，在狼人杀游戏中大有可为。 试想一下，当你在玩狼人游戏的时候，可以用柯南的声音来玩，是不是会大大增加游戏的乐趣呢？
这里可以看到一个例子，就是原声和目标声之间的过渡效果。 可以看出，这项技术可以更好地保存说话者的情绪和内容。
(8) 平衡测试
在游戏领域，我们基于强化学习做了很多不同的尝试和应用，包括平衡性测试。
比如赛车游戏，在规划设计的时候，会有很多不同的车辆参数和不同的赛道，而策划者也想知道车辆在这些赛道上实际表现如何。 通过AI技术，可以快速生成赛道与车辆的不同组合效果。
另一个例子是纸牌游戏。 在不清楚修改数值后对整个游戏的平衡性有多大影响时，也可以利用该技术模拟测试，将数据反馈给策划者。
值得一提的是，我们在参加谷歌足球AI大赛时，发现了一些有趣的内容。 整个游戏过程中没有玩家数据可供学习，但 AI 能够自动学习到许多有趣的决定。
比如《非凡》，在这款游戏中并没有“非凡”按钮，但是AI会通过自动学习“左右晃动”摆脱防守者。 人工智能还可以学习诸如“从底部传到底部”等技术。 甚至可以学习反击，比如“单手球”。 防守时AI可以主动铲球等等，其实都是算法自动学习的结果。
4. AI与游戏运营与营销
最后是AI在运营和营销方面的尝试和应用。
（一）游戏环境监控平台
我们会利用AI技术检测一些图片文字和语音内容，净化整个游戏环境，防止玩家上传一些不合规的图片或一些影响玩家体验的语音内容。
这将涉及各种面向人工智能的技术，如图像识别、物体检测、人脸检测和识别、OCR、文本分类和语音识别。
(2)利用AI换脸进行营销活动
我们还与多家工作室合作AI换脸技术，并利用这项技术开展营销活动。 例如，玩家可以上传照片替换海报中的人脸，获得属于自己的游戏形象，极大地提升了玩家的积极性和参与度。
（三）AI综合技术打击作弊
最后，我们将与工作室、游戏程序和游戏运营商合作，利用异常行为检测和视觉技术，对游戏中的作弊和作弊行为进行监控和打击，确保良好的整体游戏环境。
以上就是我今天和大家分享的关于网易互娱AI Lab这段时间在游戏AI赋能方面的尝试和思考。 也希望以后有更多的成果与大家分享，谢谢。
