4月19日，由网易互动学习与发展主办的2022N.GAME游戏开发者峰会进入技术驱动专场的第二天。 多位行业资深技术负责人就各自领域进行了深入的经验分享和探讨。
网易互娱AI Lab技术经理陈康分享了美术资源的基本概念、制作流程、技术探索和实际应用。
以下为讲话原文（有删减）：
大家好，我是网易互娱AI实验室的陈康。 目前负责互动娱乐AI实验室沪杭团队，负责图形、3D视觉、语音的技术开发与实现。 很高兴有机会与大家分享我系自2017年底成立以来，在AI艺术资源制作方面的一些尝试。
艺术资产
首先，什么是美术资源？
这其实是游戏行业的专有名词，也叫美术资产。 以《一梦江湖》和《王牌赛车》这两款游戏为例，一款偏古老，一款偏现代，美术风格上存在明显差异。 但共同点是，你在屏幕上看到的所有东西，比如人物，人物身上看到的衣服，远处的建筑，植物，甚至车辆，甚至界面上的按钮图标，都是实际上是DCC的艺术系学生。 它是在软件或游戏引擎中产生的，所以这些东西属于艺术资产。 游戏产业发展至今。 在艺术资产生产方面，已经形成了一套非常成熟的工业化、流水线生产解决方案。
以我系虚拟技术代言人、峰会虚拟主持人IF为例，简单介绍一下常见艺术资产的制作流程。
假设你作为策划同学，想要美术帮你塑造这样一个角色，你会如何向他表达你的需求？
你可能会说想要一个活泼可爱的二次元少女，可能正值青春期，可能性格可爱等等，但这种描述其实是非常主观抽象的描述，比如二次元，阴阳师那种二次元元素，和元神的，有着天壤之别。 基于这种模糊的描述，美术不能直接做出三维模型，因为在这个过程中，必须不断迭代，甚至有的可能会推翻重做技能特效，所以这种角色设计层面的迭代成本在3D模型链接度很高。
因此，策划的需求一般会先交给原画师，由原画师先将这些抽象的描述转化为具体的形象。 所有图像设计层面的修改和迭代都在原画阶段完成。 这里显示的是 iF 的。 原创角色艺术。
当然，在设计过程中，原画师肯定会结合自己的理解，提出一些修改意见，因为在这个领域，艺术比策划更专业。 比如IF的形象，头上的兔耳朵一样的耳机就是原画。 同学们自己设计的，因为我们的要求是做一个青春可爱的科技代言人，现在可以在保持角色可爱风格的同时体现一定的科技元素。
角色原画设定图完成后，会进入模型环节。 建模师会参考这张图片制作3D模型和对应的纹理贴图。 这里对建模师的要求是，将完成的模型和贴图放入游戏引擎后，能够最大程度的还原原设计的形象。
如果是静态物体，一般这一步就结束了，接下来会直接交给场景编辑器在游戏引擎中构建游戏场景。 但是游戏角色其实是需要能够移动的，所以模型做好之后，需要交给rigger去设置骨骼，皮肤，以及一些变形的身体，然后制作riging controller，就是这些性格上的奇怪事情。 线圈和右面板。 通过操纵这些东西，可以驱动角色做出一些相应的动作，绑定的角色会交给动画师，由动画师使用动作捕捉或者手动设置关键帧来制作动画资源。
整个生产过程其实很像一条工业流水线，一环接一环。 每一款成品游戏的美术资源都是由大量的美术劳动堆积而成。 这一块的成本一直是整个游戏开发成本的大头。 现在玩家也越来越挑剔，游戏行业的竞争也越来越激烈。 比如现在的这些3A大作，如果不支持开放世界，我都不好意思说自己是这一代游戏。 开放世界如何让你感到开放？ 其实简单来说就是尽可能多的制作内容，你会觉得这款游戏的开放内容非常好，比如《刺客信条》《孤岛惊魂》等经典的开放世界沙盒游戏。 动辄数十平方公里。 你用传统的方式制作这种比例尺的地图是不现实的。 因此，目前大量的程序化方法被应用到游戏开发过程中。
AI+程序
程序地形、建筑物和植物已经是非常普遍的做法。 目前游戏行业的趋势是最大限度地利用美术资源的程序化制作。 如何理解基于AI的艺术资源生产？
其实简单来说原画设计论文，AI就是一种程序，所以我们所做的工作本质上就是在程序化生产的主线下引入一些AI技术手段，从而达到一些传统方案无法达到的效果。 不是因为AI技术流行之后，我们开创了一个方向。 这种因果关系需要大家正确理解。
接下来，我将向大家介绍一下我系在原画、模型、动画三个方面所做的一些尝试。
首先在原画方面，我们在这方面做了两个辅助创作工具。
第一个应用是二维人物线稿自动上色工具，可以生成多套不同的上色方案。 主要作用是在设计二维图像时，为配色提供一些灵感。
第二个工具是面部生成和编辑工具。 该工具可以根据艺术家绘制的面部线条图生成真实的面部照片，并允许对生成的面部的某些属性进行编辑。 这里显示的是修改面部年龄的结果。 由于网上人脸数据非常丰富，人脸结构比较简单，所以目前这个工具可以生成非常高清的人脸照片。 作为美术师，在设计一些逼真的角色时，可以参考这些AI。 合成人脸用于二次创作。
当然，我知道很多同学对原画中的AI有更高的期待，比如用GAN或者风格迁移技术直接生成游戏场景的原画，因为这也是第一批被人知道的AI技术给大家申请。 不过，目前要真正实施起来还是有些困难的。 倒不是技术本身有什么问题，主要是游戏最初的设计不一定追求真实，更多的是特定美术风格下的视觉表达。 对比游戏画面，这种画面明显不同于日常照片。 在目前的数据条件下，还很难生成这个级别的AI模型。 因此，如何让AI在原画设计本身发挥更多的作用，也是我们未来的重点工作之一。
AI+原画
接下来是模型。 在这方面，我们的主要工作集中在人脸模型领域。 首先简单介绍一个叫做“3D参数人脸模型”的基础设施，它是基于大量3D人脸数据3D扫描的双线性模型，具有人脸形状和表情两个维度。 设置一组脸型参数和一组表情参数后，就会得到相应参数下的3D头部模型。
2018年，我们扫描制作了一套高质量的3D参数化人脸模型。 当时我们收集了500张中国人脸数据，其中男性和女性各占一半，年龄范围涵盖10-60岁。 扫描了七组面部表情，总共收集了 3500 个头部数据。 我们在这方面投入了大量资金。 我们也在去年的游戏开发者大会 GDC 上分享了这项工作。
相信很多从事3D人脸研究的同学都非常熟悉这个模型的概念。 这是1999年一篇SIGGRAPH论文提出的概念，专业名称是3DMM。
目前学术界其实已经有一些比较知名的开源3DMM数据，那我们为什么不直接使用这个开源模型呢？
主要有以下三个原因：
首先是因为版权问题，因为我们希望这个技术能够真正的用在游戏产品上。
二是因为准确度的问题，因为这些开源模型的准确度其实和实际比赛的标准相去甚远。 我们在早期的实验中也使用过这些模型，但是艺术系的学生对这些开源模型的质量非常反感，所以我们在收集头部数据的时候，每个头部模型都是在合同后手工制作的，质量非常好高的 。
最后一个原因是种族问题，因为这种开源模型一般都是欧美机构发布的，他们收集的对象主要是欧美白种人。 你会发现高鼻梁深眼窝这个明显的特征。 乍一看不像亚洲人。
基于这些原因，我们果断决定自己做一套这样的模型。
在人工智能领域，参数化人脸的主要作用是提供人脸3D形状的先验知识，因此制作良好的参数化3D人脸模型可以从2D照片重建3D人脸模型。 我们的参数化人脸模型集在东亚人脸照片上取得了很好的重建效果。 当然，由于单景照片缺乏深度，鼻梁高度、眼窝等特征很难还原。 因此，我们也开发了一套多视图重建算法。 如果条件允许，我们可以为演员拍摄多张照片。 照片被重建。
你可以在这里比较它。 右边的多视角重建结果比单视角重建能更好地还原演员鼻子的形状。
除了从照片重建3D模型，这套参数化人脸还有一个更重要的应用，就是批量生成游戏头部模型。
如果游戏的头像资源标准与我们库中的头像标准一致，那就很简单了。 可以直接在参数化人脸模型的参数空间进行采样，将采样后的模型用于游戏项目。 当然，这种情况一般不会太多，因为每个游戏都会有自己特定的需求，有些游戏中的角色甚至不是传统意义上的人头。 因此，一种比较常见的生成方式是自动批量转换项目组的模型。 简单来说，我们生成的模型相对于平均脸的变化，转移到项目组的模型中。 这种迁移变化可以是表情，也可以是脸型，所有的变形都可以用项目指定的骨骼皮肤来表现。
这是我们生成的一组结果。 最左边是项目组提供给我们的人物模型。 基于这个模型，我们可以自动生成一批风格相同但在脸型和五官上有明显差异的模型，并且每个模型都可以生成一组表情，也就是说，项目组只需要做一个静态模型，我们可以自动批量生成很多绑定模型。 这对于这种追求千人千面的开放世界游戏来说其实是非常有价值的，能够以极低的成本让游戏中的每一个NPC看起来都不一样。
这是我们对两个泛人类模型进行变形后的效果。 由上可知，生成的人头模型完全兼容原资源标准，这种变形质量生成的模型对于实际游戏头部模型来说绰绰有余。 大家应该都知道，一个超人级模型的脑袋，保守计算的话，少了几十万人民币，所以这项技术是非常有价值的。
为了进一步丰富我们的3D头部数据，我们还建设了一套自己的3D扫描实验室。 目前，我们在杭州公园建设了扫描人头的专用设备。 左边是我们的设计图，右边是施工后的实物。 . 这是一个20面体，包括53个单反和150组定制的LED灯。 整个系统是我们自己设计和建造的。 未来我们会在网易的广州和上海园区建设更大的片场。 扫描全身的设备。
3D扫描的原理其实很简单。 简单地说，它使用摄影测量算法从多视图照片中计算出人体头部的 3D 点云。 这是我们系统扫描的一组样本。 这个精度可以和国内外一线扫描服务商相媲美。 这是基于我们的扫描过程产生的一组表达碱基的效果。 可以看到扫描模型对演员面部细节的还原度非常高。
我刚才说了我们这套设备有150套定制的LED灯。 这套灯也是高成本定制的。 每个灯的开关和亮度都可以独立控制。 每组灯包含三个灯头，配有一个普通的非偏光uv镜和两个偏光片，其中一个与安装在相机上的偏光片方向平行，另一个垂直。 对摄影比较熟悉的同学应该对偏光镜的使用不陌生。 这是一种非常常用的紫外镜。 主要用于非金属物体表面一些不必要的反射光，可以还原物体本身的颜色。
偏光片的原理是什么？ 中学物理大家都学过，光具有波粒二象性，它既是粒子又是电磁波，光的振动方向垂直于传播方向。 这种波称为横波，所有横波都具有极化。 的。 简单的说，如果光的偏振方向与偏光片的方向平行，那么所有的能量都会通过，如果是垂直的，那么所有的能量都会被过滤掉。
基于这个原理，我们可以一次拍摄8组被扫描物体的照片，然后通过这8张照片计算出物体表面的材质，即漫反射、高光和法线的信息。 这8组灯分别是4组平行偏振光和4组正交偏振光。 在每组中，首先打开所有的灯，然后根据灯在三维空间中的坐标降低灯的亮度。 可以在XYZ三个方向产生一组灯光。 目前，我们刚刚完成这套设备。 我们在人脸素材扫描方面刚刚起步，未来会逐步加大在这方面的投入。
AI+动画
最后是动画部分，这是我们这几年的工作重点。 其实前面介绍过，美术资产一般占游戏开发总成本的最大部分，但在这种情况下，动画一般占整个美术资产的最大部分，主要是原画和模型也是非常贵。 但是大部分都是一次性的开销，但是动画需要配合剧情不断的制作。 高质量动画的制作成本很容易超过一分钟一万。
我们首先在动画领域对光学动作捕捉数据的清洗做了一些工作。 光学动作捕捉的原理其实很简单，就是在紧身动作捕捉服的表面设置很多标记点，通过多视角红外摄像机对这些点标记进行跟踪。 点在三维空间的坐标，然后根据这些坐标可以计算出人体骨骼的旋转和平移信息。 当然，自动计算出来的信息难免会有一些误差，可能会导致计算出的骨骼动画出现一些异常。
所以在实际的动捕过程中，会有专门的美工负责清理动捕得到的标记点。 资深动作捕捉艺术家在这方面非常有经验。 一般首先可以直接看标记点的轨迹曲线。 知道发生了什么类型的错误以及如何修改它也是当前动作捕捉工作流程中主要的人工工作量。
2018年，育碧提出了一种算法，通过AI模型来代替这个过程，当时也发表在SIGGRAPH上。 因为我们在2019年投资了法国3A游戏工作室Quantic Dream，也就是制作《底特律：变人》的公司，所以我们当时就开始了一些技术上的合作。 这项工作一直在跟进。 时隔一年多，我们找到了精度更高的方案，也发表在了SIGGRAPH2021上。 目前该算法已经以vicon软件插件的形式部署在网易。 在Mutual Entertainment和Quantic Dream的动作捕捉工作流程中。
这是一个例子。 这是原始的含噪声标记点。 闪烁的是本地噪音。 那些留在原地的点就是那些丢失的点。 这是临时调用我们的算法得到的清洗结果。
接下来我要介绍的是我们部门实施最多的几个项目。 第一个是基于普通单目相机的轻量级面部动作捕捉系统。 基本原理是利用我们之前介绍的3D参数化人脸模型，对视频中演员的脸型、表情和头部姿势进行回归，然后将回归得到的系数重定向到游戏角色中。 当然，我们也会配合一些CV检测和识别模型，提升捕捉眨眼、视线、舌头、整体情绪等算法的准确率。
我们从 2018 年开始做这个项目，差不多有十位同事参与了。 所有的算法模块都是自己开发的，现在已经是非常成熟的一套自研面部动画了。 捕获解决方案。
围绕这套算法，我们也构建了一套完整的工具链，包括实时动捕预览工具、动捕结果的离线调整和编辑工具，以及Maya/Max中的动捕数据重定向插件，在另外，为了方便项目组接入面部动作捕捉系统，我们还开发了一套专门适配我们算法的面部自动绑定插件。 此外，我们对核心算法进行了全平台SDK封装，iPhone 6s及以上版本可用，可实现单核单线程实时渲染。
这个系统在游戏中有非常多的应用场景。 首先是协助动画师制作正式的游戏动画资源。 与传统的逐帧手动提取相比，动捕方案的制作效率具有明显优势。 而且只要演员演得好，效果几乎和艺人无异。
其次，可以为营销类的同学快速制作一些面部动画素材。 营销场景的特点是对精度的要求没有那么高，但是它的时效性要求很高，因为慢了就抓不住热点。 我们的轻量级解决方案非常适合这种场景。 例如，短视频平台上的某个视频很受欢迎。 使用我们的一套工具，可以非常快速地制作面部动画素材。
另外，因为我们整个算法都提供了所有平台的SDK，所以也可以封装在游戏客户端中，为玩家提供一些UGC的玩法。 比如我们在《江湖梦》游戏中推出的颜艺系统，可以让玩家录制自己的表情动画。 右边是我在B站上找的一段视频，是播放器系统录制的打哈欠动画，然后上传的。 在b站，传播效果很好。
最后，这个算法还可以支持一些虚拟主播的场景，比如第五人格秃鹰杯电竞比赛的虚拟解说，云乐look直播的虚拟主播，这些都是用到了我们的技术。
此外，我们还配合高精度3D扫描设备，测试我们的面部动作捕捉算法对超写实模型的效果。 这个模型是由我们聘请的外国模型扫描的。 我们用模特自己的视频来驱动自己的角色，这样可以更好的对比表情的再现。 这是另一组效果。 这个模特是我们部门的同事。 从效果上可以看出，无论是扫描重建还是人脸抓拍，我们的技术都足以支持这种高精度的场景。
与面部动作捕捉类似，我们也构建了基于普通相机的轻量级人体动作捕捉系统，同样支持单视角和多视角输入。 原理和之前的人脸抓拍类似。 就是用一组参数化的人体模型去拟合视频中人物各个关节的骨骼参数，同时也配合一些cv模型来提高优化结果的合理性。 这个项目我们也打磨了两年，目前的效果和稳定性还是比较不错的。
这是冬奥会后我们用这个技术为《哈利波特：魔法觉醒》项目做的一个视频，在当时迅速成为了微博上的热门话题。 按照传统的制作方式，这种营销计划是不太可能实现的，因为需要找到能够还原这套动作的演员，并安排好演员和动捕工作室的档期。 没有6位数的成本和1个多月的生产周期很难完成，但是有了我们的AI解决方案，成本可以忽略不计。
这是我们之前和大话西游项目组合作的一个视频。 在大话官网和B站都可以查到，当时请来了B站舞蹈区的知名up主用三部手机录制了这段视频。 一组舞蹈动作，用我们的动作捕捉算法得到动作，重定向到大话西游的游戏角色身上，整体效果非常精美。
这是最终结果
我们为《明日之后》项目组制作的另一部动画素材，只用了单目摄像头来捕捉身体和面部的动作，只要镜头足够清晰，手指的动作也能准确捕捉到。
除了继续视频输入，我们还开发了一种基于音频输入生成动画的技术，比如通过语音输入生成人物面部和身体动画，我们也围绕这项技术开发了一套完整的工具链。 我们也很早就做了这个技术。 2018年已经在多款游戏中上线，但当时比较简单，只支持口型和几个简单的基本情绪。 后来我们也进行了不断的基础升级。 并迭代，加入语音驱动的头部运动、眼球运动、手部运动、面部微表情、肢体运动等，这里是我们算法的最新效果，语音驱动身体部位的效果，大家可以去N.GAME峰会 虚拟主机IF的动画原画设计论文，这里主要是头顶的动画。
从音频输入生成动画的另一项工作是根据音乐生成舞蹈动作，目前在业界比较知名。 我们从2018年开始做，经过几年的不断打磨和迭代，我们终于形成了一套落地方案，也在SIGGRAPH2021上发表。 会后，我们还收到了来自SIGGRAPH的官方采访邀请。 采访内容发表在SIGGRAPH的官博上，目前多家机构正在跟进中。 详细的技术方案论文中有场景介绍。 这里主要给大家展示一下这项技术的实际落地效果。
首先是二次元女团舞的效果
这是韩国舞蹈的动画。 这部动画也是网易cc直播年度盛典的开场舞。 最后，我们将舞蹈与网络上的一些流行歌曲进行了合成。
最后，展示一下AI动画技术的全家福。 这是我们系虚拟偶像IF去年圣诞节做的B站互动视频。 你可以在B站找到完整版，里面所有的动画都是我们通过AI技术生成的。 在这里，我将向您展示该视频的幕后过程。 目前，我们的AI动画解决方案已经相当成熟。 内部经过大量项目验证，内部也提供给网易。 各项目组持续输出行动资源。
结语
最后简单总结一下。 从前面的介绍中可以发现，AI技术对程序化美术资源生成方向的推动非常明显，根据我们的实践经验，甚至可以用在人脸、人体模型和动画中。 在一定程度上，它取代了一些初级执行导向的美术工作，使用我们的人工智能解决方案，与传统解决方案相比，生产效率一般可以提高5-10倍。 但是，要让AI做一些更高级的工作，还是有难度的。 我们今后努力的方向。
主要困难是由于缺乏高质量的数据。 众所周知游戏图片素材，数据是人工智能的核心。 人工智能模型的能力实际上在很大程度上取决于人们为模型提供了多少有价值的数据。 不过，游戏资产的获取门槛其实还是很高的，这和照片、语音、文字这些东西是不一样的，这些都是大家每天都在制作的。 比如在某个景点看到一个很有特色的雕塑，大多数人的反应可能是掏出手机，拍张照片记录下来，但几乎没有人会掏出电脑在上面搭建模型现场，这不太可能发生。 当然，随着科技的进步，游戏资源的制作门槛肯定会越来越低。 而且像元界这样的热门应用场景本身就需要游戏厂商让玩家参与虚拟世界的内容创作过程，所以相信随着数据的不断积累，AI技术或许也可以从事一些更高级的工作未来，这也是我们努力的方向。
