选自《电影文学》2023年第3期“学者前沿”栏目
游戏引擎技术与电影虚拟影像创作新机制
文/薛晶晶
北京大学艺术学院博士生
摘要：基于电影和游戏在图像表达方面的共同需求以及游戏引擎技术突出的低成本和便捷性，其对电影虚拟图像制作的影响正在不断扩大。 通过基于抽象物理原理的计算和推导，游戏引擎可以“自发”生成图像，从而强化电影表达现实和创造现实的能力，让虚拟电影图像和真实环境进入实时交互的状态，实现内部和外部形象。 外部空间的统一。 游戏引擎技术也带来了电影产业环境的变化，推动虚拟影像制作过程从线性向网络化、交互化转变。
关键词：游戏引擎； 引擎电影； 数字电影； 虚像； 视频游戏集成
随着电子游戏从形式到内容的融合不断加深，游戏制作技术走进了电影，给电影带来了新的叙事方式、文化理念和审美标准。 游戏引擎技术介入之前的数字电影是客观图像通过编码和解码的数字中介，是一种代理机制。 游戏引擎生成的图像是完整的拟像，是根据离散数据计算出的虚拟世界场景。 。 游戏引擎技术推动了数字电影的新变革，带来了电影创作习惯和艺术观念的改变，也将使人们重新认识当下的电影艺术。
1、游戏引擎技术和数字电影虚拟化的新变化
（一）游戏引擎技术及其电影应用
游戏引擎是一种游戏开发解决方案，其概念形成于 20 世纪 90 年代中期的游戏领域。 游戏引擎作为一个集成平台，为开发者提供了编写游戏系统、虚拟环境等现有的编程解决方案，其中包括灯光元素、数字资产构建、图形渲染、环境物理、虚拟摄像机等可供使用，可以减少小游戏的开发时间和成本。 游戏本身突出的视觉文化属性和虚拟性与电影制作有着天然的相似性，游戏引擎技术可以移植到电影制作中。
游戏引擎的图像制作方式主要是通过系统内预先导入的数字资产的“调整”和“放置”，以及“人物、场景的行为函数的编写和灯光渲染”，形成完整的图像。图像片段。 游戏引擎生成的图像可以作为虚拟预览的辅助拍摄手段，也可以与真实镜头组合形成合成镜头，也可以实时生成纯虚拟的最终图像。 这三类图像的虚拟程度不同游戏引擎原理及应用，对游戏的影响也不同。 对发动机的依赖程度由浅到深。
游戏引擎的电影化应用起源于20世纪80年代的黑客文化和社区。 黑客通过生成“演示”作品来展示他们的编码和黑客技能。 这些作品已经有了声音和视觉效果，但它们不是图片或视频文件的形式，而是基于算法即时生成的三维可视化。 1993年，DOOM游戏引擎5发布，允许玩家记录游戏过程中的事件并在结束后重新访问它们。 这些文件仍然是引擎内的文件而不是视频。 与前作的黑客“演示”文件相比，这些记录是基于游戏代码的二次操作而不是自创代码。 可以利用游戏引擎中现有的数字资产和功能。 第三阶段，《Reel Machinima》的出现更加深入地将游戏引擎技术与电影结合起来。 这些作品可以用游戏中预定义的摄像机视角从显卡或电脑屏幕记录游戏事件。 通过后期声音添加和镜头编辑组合，观众可以获得线性的电影剪辑，而不是需要在游戏引擎内部再现的代码。 文档。
引擎电影自诞生之日起就受到电影语言的影响，在个人电影制作方面表现出了出色的能力。 1996年10月，首部引擎电影《露营者日记》上映。 这部电影是基于“雷神之锤”引擎的。 其开创性的特点是观众的视角独立于玩家或角色，呈现出电影摄影机的视角特征。 2000年代初的游戏引擎已经融入了复杂的相机技术，允许相机与游戏角色分离，允许其从任何角度、各种路径指向角色，并提供特写、平移等相机语法控制，并聚焦。 2002 年《纽约时报》关于 Engine Movies 的一篇报道肯定了用游戏引擎制作电影的便利性：“从短喜剧到科幻史诗片，Engine 电影都可以在电脑上制作，无需购买设备、租用场地和聘请演员. 费，然后可以在互联网上免费分发。” 2005年11月，英国游戏公司Lionhead Studios发布了The Movies游戏，该游戏为玩家提供了通过设置简单场景和控制角色来创作电影的工具包。 制作人透露，这款游戏的目标之一就是让玩家在玩游戏的同时导演自己的电影。 上线两个月后，游戏的交流社区就有超过3000部公开电影可供观看。
除了个人、家庭电影制作外，游戏引擎技术在商业影视中的应用不断扩大。 《奇幻森林》2016年、《头号玩家》（2018年）、《狮子王》（2019年）、《西部世界》第三季（2020年）、《野性的呼唤》（2020年）等影视作品正在尝试引入游戏引擎技术实现电影的虚拟制作。 《星球大战：侠盗一号》（2017）视觉效果总监约翰·诺尔在接受采访时表示：工业光魔使用虚幻4引擎拍摄并渲染了《星球大战：侠盗一号》电影中的部分机器人实时。 K-2SO 的虚拟场景。 2021年《黑客帝国4：黑客帝国重生》北美首映前，发布了游戏宣传视频《黑客帝国觉醒：虚幻引擎5体验版》进行营销，并在官网解释道：“《黑客帝国4：黑客帝国重生》 “ 团队开始使用虚幻引擎 5 引擎 5 实现了他们的壮举：以令人兴奋的新方式将多种艺术形式融合到一种体验中......不仅证明现在可以构建如此令人惊叹的视觉环境，而且还开辟了全新的方式“讲故事的大门已经打开。虚幻引擎 5 的高保真模拟功能实现了全新的流程：通过模拟进行电影创作。”
同时，游戏引擎技术现在可以应用于动画短片、音乐视频、电影、电视节目等的制作中，并且在体育和新闻节目设置、虚拟观众设置等方面也得到了应用。与传统的绿幕和后期制作相比，游戏引擎技术为影视制作提供了更多便利。 但总体来说，引擎电影虽然有成熟的故事片、有自己的电影节、参加艺术展览和研讨会，但引擎电影和游戏引擎仍然更多地以技术手段的形式出现，并且是电影艺术的非实验性作品。 它对电影的影响从基于计算机的代码属性和操作方法延伸到电影成像机制、审美标准和工业体系。 从媒体发展历史来看，技术先行是新媒体出现的惯常方式。 从场景、镜头的预览和辅助创作，到院线电影的实时生成，再到数字美学的普及，游戏引擎对电影艺术形式的影响将逐渐加深。
（二）数字电影的虚拟新变化及其“后电影”形态
作为与技术密切相关的艺术形式，电影史上的重要发展都与技术进步有关。 技术创新将带来电影语言和艺术元素的变化。 从胶片电影到数字电影，图像的虚拟性影响着客观性。 罗德威克曾论述，数字电影以数字为基础，以虚拟性为重要特征游戏引擎原理及应用，利用数字计算来抽象、虚拟地再现物质形态。 然而，目前数字图像的发展仍然仅限于模仿胶片图像，“摄影式”。 真实性仍然是数字成像的圣杯”，电影和数字电影之间存在固有的连续性。 同时，马诺维奇还提出，电影的本质是以物质形式记录和保存可见的事物。 基于上述电影图像与现实世界关系的思想，游戏引擎生成的电影可以与普通数字电影区分开来。 也就是说，游戏引擎将电影与模仿电影图像分开。 在生成机制和审美取向等方面不再以摄影真实性为首要目的。 图像由虚拟代码直接生成，与现实世界的时空联系被打破。 只保留从现实世界中抽象出来的物理规则，作为图像创作的规则。 摄影变成了引擎内部的编码和解码，数字图像的制作变成了程序内部的数字化操作，不再与现实世界相关。 影片的图像制作偏离了摄影艺术，具有更强的游戏化特征，成为一种以图像为表现手段的自动化艺术装置。
技术的升级带动了电影艺术技术的发展。 游戏引擎以数字技术为核心，以技术合理性为原则。 与罗德威克等人讨论的将物质现实转录为0和1代码的数字图像相比，虚拟现实在性方面有了进一步的发展。 因此，可以说，游戏引擎技术推动了数字电影进入了一个新的发展阶段，成为电影和游戏两种视听媒体之间的文本链条，促使电影从技术手段到表现机制发生深刻变化，图像的艺术逻辑也因技术变革而改变。 随着数字逻辑的变化和越来越趋向，电影的媒介特性面临重构，成为另一种形式的“后电影”现象。
2、游戏引擎技术下的图像生成逻辑：真实物理规则与虚拟模型操作之间的复杂交互
数字电影是以真实的创作环境为基础，以人类中心主义为原则，通过真实的物理环境和虚拟的视觉环境相互作用形成电影图像。 游戏引擎技术利用抽象的物理原理作为虚拟创作与真实环境之间的逻辑联系。 在此基础上，通过计算和推演，“从头开始”、“自发地”生成模型。 人的存在和动作不再是图像行为的主体，电影图像与真实环境、物理规律、创作主体、数字环境等元素处于复杂流动的状态。
游戏引擎中虚拟内容创作的首要任务是掌握真实的物理规则，这需要对客观世界进行抽象概括并以此作为创作的指导，包括重力系统、运动模式、碰撞表现等。打造仿生角色时，还是要遵循从骨骼到肌肉到筋膜到皮肤的生理结构。 角色上肢骨骼关节的分层构建需要遵循“肩-肘-手-五指”的人体结构机制，辅以模型计算，克服僵硬的机械感。 然后使用“蒙皮动画”，用“光滑的微小三角形网格”覆盖骨骼，并跟踪关节运动。三角形网格根据权重进行细化，并绑定到多个关节。随着骨骼移动，关节做出运动，蒙皮动画产生润滑、覆盖、拉伸等效果来完成虚拟角色的动作。” 在此基础上，利用动作库、动作捕捉等资产，为角色添加不同类型的动作、表情、操作。 模型，通过复习操作改进不符合生理结构和正常运动习惯的内容。 因此，引擎技术生成的虚拟人在形式上与真人解释不同人物立绘，但其逻辑却基于脱离人类视角的科学概念。
虚拟内容制作的另一个关键点是模型操作和数据元素的使用。 马诺维奇曾提出新媒体包含两个不同的概念：数字和计算。 计算是数字电影的核心要素。 数字电影正是通过对物体、关系等的建模和计算，才能实现对物理世界的描绘。 实体-数字代码-图像就是数字电影的转换过程。 游戏引擎省去了与物体和图像交互的第一步，通过数据模型和运算生成图像。 引擎中的虚拟世界和角色都是离散数据，数据流、模型、插件等数字资产通过实时计算生成图像。 当创作者需要制作特定内容时，游戏引擎采用作坊式的工作原理，将虚拟物体与真实特征融为一体，通过动态计算获得合理的图像内容。 例如，在绘制人物皮肤、头发、衣角时，需要调用原始物体的物理属性，然后通过内置模型计算出表面散射现象和摆动轨迹。
游戏引擎产生的电影图像打破了电影图像与现实之间的直接对应关系，通过不断的物理定律和数学运算，在图像与现实之间形成了一种间接的表达机制。 因此，游戏引擎技术的引入，也是将电影引入到游戏的制作逻辑和结构中。 就是对游戏中的人物、场景、关卡的修复。 其根源在于电影和游戏在图像表达上的共同需求。 游戏引擎强化了电影中超越的人类存在和技术中心的视角，利用客观规则和技术算法人为地产生虚拟现实，最终达到“最熟悉的陌生感”。
3、游戏引擎技术下电影的本质：“超现实”与“再现实”
在数字革命的浪潮下，“电影消失在由数字媒体、计算机合成和动作捕捉图像组成的审美世界中”。 数字引擎技术强化了电影表达现实甚至创造现实的能力，让电影回归了“造梦”的属性。 这种现实不同于巴赞等人所主张的现实再现，而是“超现实”和“重构现实”。 它是“一个没有原型和现实的现实，一个由现实的模具制成的现实”。 或者“超越人体感官限制，再现完全由计算机算法生成的虚拟现实的超级现实”。
一方面，包括游戏引擎在内的数字技术为电影带来了超越电影胶片的真实表达能力。 游戏引擎技术首先增强了数字电影还原客观现实的能力，让电影能够以低成本制作出极其逼真甚至过度还原的画面，从而达到令人震惊的超写实效果，产生新的艺术意义。 在传统的蓝绿幕技术下，演员往往需要依靠信仰感在没有实物的情况下进行表演。 背景上的蓝绿色光也会反射到演员和道具上，需要大量的后期处理。 制作者在使用游戏引擎进行现场拍摄时，可以利用游戏引擎在LED屏幕上实时渲染虚拟场景。 “屏幕上的画面与相机视锥的运动相匹配，从而获得模拟现实拍摄的画面效果”，实现虚拟图像与实物的实时交互，实现“所见即所得” 。 此外，LED背景的光线可以真实地投射到现场物体、演员和道具上。 借助游戏引擎的光线追踪功能，可以将虚拟光照效果和物理光照效果结合起来，提高了虚拟图像制作的效率，增强了真实感。 感觉。
另一方面，数字技术尤其是游戏引擎技术极大地提高了电影创造虚拟场景的能力，可以提供真假难辨的奇观场景，也可以偏离经验现实，转而创造具有陌生化效果的数字美学。 这种数字化、后人类的“现实再现”是数字电影发展新阶段的内在美学理念。 如果说巴赞时代倡导的电影“物质现实”是对现实世界的再现，那么游戏引擎的“重构现实”则是数字时代现实画面与媒体体验的双重还原。 因为数字时代的“现实”不仅包括物理世界的现实游戏图片，还包括游戏、互联网等媒介带来的新的审美体验。 例如，随着游戏在日常生活中所占比例的增加，这种网络式的审美已经成为生活体验的重要组成部分。 因此，“再现现实”就是图像所唤起的感官现实和媒体感知层面的沉浸感，使观看者的感官沉浸在一个虚拟模拟的世界中。 这个世界包括类似于真实场景的模拟环境和不同于真实场景的场景。 两种形式的数字环境。 与“超现实”带来的陌生化、疏离效应不同，“现实再造”通过营造完美的感官现实，让观者的感官沉浸在虚拟模拟的世界中。
游戏引擎技术强化了电影表现现实、创造现实、形象化想象的能力，现实与虚构的界限进一步消除。
4、游戏引擎技术下的媒体表达方式：间接输入到直接交互
媒体技术决定媒体行为。 游戏引擎的技术引入带来了虚拟图像在电影中表达方式的变化，也将带来电影文化审美形式的变化。
在传统的电影后期制作中，虚拟影像的制作仅限于导演与后期制作人员之间的沟通。 制作者通过基于代码的输入修改和控制图像。 这是一种从外部间接输入图像内部的创作方法。 ，图像和操作环境不对等且不直观。 它们本质上是由生产技术制定的规则。 例如，虚拟图像的绘制需要在前期拍摄过程中通过绿幕等技术留出空间，等其他内容完成后再通过数字绘图将其添加到图像中。 因此，虚拟部分不接受整个电影制作流程的变化。 灯光、摄影等综合手段的介入并不能体现图像整体空间的信息。 它只是在后期制作过程中以数字形式添加，在制作上是相对独立的内容。
游戏引擎出色的即时性和可见性使其成为基于窗口的虚拟图像制作平台。 现实中的创意行为可以得到图像的实时反馈。 图像与真实环境之间存在等效的视觉表达机制。 虚拟图像 生产过程变得实时、可视化。 电影摄影师丹斯切尔在接受采访时表示：“对于创作者来说，用这种方式（游戏引擎）拍摄电影最重要的是有足够的视觉细节，以便我们在片场做出决定。” “所见即所得”的特点意味着创作主体不需要掌握动画建模或渲染的原理。 他只需要在引擎平台提供的直观窗口中根据真实经验进行选择、放置等简单的操作行为，就可以获得复杂的动画。 模拟并计算最终图像效果。
游戏引擎便捷的功能使创作主体与图像进入互动状态。 同时，虚拟与现实也实现了实时交互。 这种真实感官下的新创作方式改变了创作者的工作习惯。 虚拟图像从幕后走向舞台，与演员、现场道具等真实元素平等地参与图像空间的营造。 各类工作的创意人员都可以在完全虚拟的环境中工作。 例如，在场景勘察阶段，工作人员可以借助游戏引擎和VR设备对真实场景和数字虚拟环境进行勘察，“综合考虑场景的灯光效果，快速完成场景的色彩校正，制定决策和灯光测试，将传统摄影元素数字化，并根据现场需求修改数字场景。” 外景拍摄时，可以通过LED背景或现场校色技术实时看到最终结果，减少了电影制作的不确定性。
影片的拍摄对象、拍摄路径、灯光等元素作为一个动态的整体，在拍摄过程中相互作用，呈现出最终的影像效果。 游戏引擎技术使虚拟形象的设计和制作更加精准，大大降低了制作难度，让创意效果得到最直接的表达，并根据用户的操作行为模拟生成与现实效果一致的虚拟形象，实现一体化图像的内部空间和外部空间。 统一，形成更加完整、直接的图像语言表达机制。
5、游戏引擎技术下的电影产业化：工作流程与产业环境
目前的电影工业化流程是从分镜创作、制作拍摄、后期剪辑到最终成片的线性过程。 这也是适应当前电影生产的一个比较高效的产业机制。 数字引擎技术在数字电影制作中的突破，不仅更新了数字媒体语言系统，而且打破了传统的图像制作流程，让虚拟图像制作参与到前期流程中，带动了虚拟交互预览的应用，并逐步形成网络化、互动式的工作流程，影响广泛的影视行业，对于“电影产业”的发展具有革命性的意义。
在游戏引擎参与制作的电影的前期准备中，导演和摄影指导完成分镜的创作，而视效部门则完成动作捕捉、表情捕捉等数字资产的准备； 确定摄像机运动轨迹和构图并提供虚拟拍摄区域、工具等； 与制作部门协商确定虚拟拍摄的设备、场地等要求； 配合剪辑部门完成动态预览内容的输出； 与协调部门确定完整的拍摄计划，为影片节奏、摄影信息、场景调度等提供参考。 在实景拍摄过程中，通过虚实结合或实时生成最终画面。 虚拟图像和实拍图像成为同类型的相关素材，一起进入后期制作过程。 在传统的线性制作流程中，安排在声音等视觉效果之后的环节也可以同时进行，影片的整体制作效率也能得到提升。 可见，以游戏引擎技术为主导的虚拟影像制作与实拍素材有着相似的特点，与电影制作的各个流程具有协调共建的关系。 摄制组可以快速、最小的成本看到不同方案下的电影效果，构图、机位移动、表演等各个方面都有直观依据和实时反馈。
游戏引擎对电影行业的影响还体现在其极高的适应性。 为游戏或电影制作需要而创建的数字资产可以移植到其他媒体环境并按原样多次使用。 这种跨品牌、跨媒体的属性改变了当前媒体行业的整体环境。 例如，2019年，游戏公司Epic Games购买了Megascans数据库，并将其数字资产开发能力免费提供给其虚幻引擎平台。 作为覆盖大部分生活场景和物体的3D扫描建模资产库，Megascans可以匹配材质、灯光、虚拟相机等，模拟特定物品在真实灯光和摄影条件下的表现。 用户还可以使用它来在虚幻引擎中使用一些资源和场景编辑。 可见，在以屏幕为载体的多媒体环境中，游戏引擎以其强大的图像制作能力形成了用户和行业的网络，在电影制作、建筑可视化、城市规划、工程设计等方面发挥着重要作用。 、人工智能环境模拟等作用。
该游戏引擎凭借其高效率和低成本，可以成为电影虚拟图像制作的廉价解决方案。 它易于使用并且对外部编程开放。 这对于低成本电影制作非常有利，降低了个人电影创作的门槛。 游戏引擎图像以其新的艺术语言为基础，正在从技术领域走向图像美学的整体语言价值体系。 但不可忽视的是，游戏引擎技术仍面临着摄像机运动、环境场景复杂度等限制，存在技术瓶颈。 目前多作为辅助手段，无法完全替代蓝绿屏拍摄技术来实时生成最终效果。 大部分图像仍处于理想状态，更多需要进一步拍摄和后期处理。
结论
在“媒体的两次诞生”理论中，“一种媒体的第一次诞生就是一种技术的诞生，它必须通过模仿的策略存在于其他成熟媒体的掩护下，直到第二次诞生才开始出现。”变得清晰地展现自己的独立身份，形成与其他媒体的本体差异。” 当数字技术进入电影创作初期时，模仿电影胶片是主要策略。 随着数字技术的成熟和观众审美观念的发展，数字景观呈现出更加多元化、偏离电影时代图像写实性的审美趋势。 目前游戏引擎技术对电影的影响还仅限于技术领域，但作为一种技术媒介，游戏引擎在其与电影艺术相互适应的过程中，会承载技术逻辑、“算法思维”和技术美学。它承载着。 将其带入电影的艺术表现中，改造电影图像的表达方式和图像语言的视觉呈现，最终形成新的艺术原理和表现力。 因此，游戏引擎和引擎电影从新的技术形态向新的电影美学形态的发展是可以预见的。 在互联网时代多媒体图像的影响下，游戏引擎的语言也将从电影和游戏两种视觉媒体蔓延开来，辐射到以图像为载体的屏幕谱系下的各种数字媒体。
关于作者
薛晶晶，北京大学艺术学院博士研究生。
关注北京大学影视戏剧研究中心官方微信
