线性音频制作
理想情况下，我们可以说艺术家可以根据完美的参考来创建音频内容——视觉部分与呈现给观众的体验完全相同——并完全控制最终体验：从 DAW 导出的内容就是这样你想回放。
线性播放。 35 毫米胶片，声音和画面同步。 Lauste 系统，大约 1912 年。
交互式音频制作工作流程
当谈到交互式音频制作时，事情发生了根本性的变化：没有完整的线性视频可用作参考。 游戏是交互的，交互性是指事件的时间线不是预先设定的，而是根据玩家的动作生成的。 因此，代替线性参考的是想法、概念和小动画：也就是说，当玩家玩游戏时，片段中的体验聚集在一起。
音频部门需要制作的是多个独立的音频素材：从 DAW 导出的单个 WAV 文件。
游戏音效制作
游戏团队将音频资产集成到游戏中，游戏引擎根据代码或游戏编辑器定义的空间音频规则和参数驱动播放。
游戏音效播放
在这里，音频艺术家对流程的参与度经常下降或消失。 他们在不知道最终体验背景的情况下创造材料。 整体音景的每个方面都会受到影响； 最明显的是混音可以完全不平衡，音乐只能是“背景音乐”而不是真正的叙事元素。
游戏音频制作流程——使用专用工具
“实施是创作过程的一半”——马克·基尔伯恩（使命召唤）
为了让艺术家能够定义音频应该如何响应播放的上下文，游戏音频行业需要让艺术家参与实施阶段，这也产生了专门的交互需求音频制作工具。 游戏音频的先驱们发现很少有用于此目的的现成软件工具。 Max/MSP 和 Supercollider 等音频编程环境提供了必要的可编程性，但对于 DAW 用户来说是非常陌生的领域，不适合游戏资产制作的制作规模。
游戏音频中间件就是这么来的。 从早期的程序员直接参与声音设计3D道具，到行业逐渐形成实践经验，围绕这些经验的总结，一套好用的美工工具集也应运而生。
游戏音频中间件是位于 DAW 和游戏引擎之间的音频制作的另一个步骤。 它的主要思想是艺术家使用 DAW 来处理音频的纯线性部分，然后转移到另一个设计环境，在那里可以产生一个完整的、智能的音频结构：材料和行为的组合。
解释它包含的所有功能超出了本文的范围，所以让我们关注交互式音乐工具集，看看构建交互式音频结构需要什么。
互动音乐工具集
音轨中的各个片段从 DAW 中导出，并作为片段导入到 Wwise Interactive Music Hierarchy 中的音轨上。
Wwise 音乐序列编辑器
游戏参数可以与混音级别相关联，
Wwise 游戏参数图
游戏状态可以作为音乐切换容器的一部分绑定到选定的音乐剪辑。
Wwise Music Toggle Switch 上下文编辑器
指定的游戏元素可以触发称为 Stingers 的音乐叠加层。 段落的更精细划分可用于产生更多交互结构和对游戏模拟行为的更精确响应。
迭代是完美的关键。 就像 DAW 允许作曲家快速调整部分音乐并立即听到结果一样，创作交互式音乐需要能够不断调整它与游戏的联系方式，直到实现所需的行为。 Wwise 不仅提供了手动模拟游戏元素的能力，
Wwise soundcaster
还能够连接到实时游戏并检查结构如何实时响应并进行更改。
Wwise Interactive Music Performance Analyzer
VR 讲故事的应用
毫无疑问，所有这些都直接适用于 VR 游戏，但更线性的叙事体验呢？ 当然可以！ 为了证明这一点，让我们探索最线性的体验：360 度视频。
从普通视频到 360 度视频的过渡在一个维度上为观看者带来了自由：视角的旋转。 当观看者的头转动时，显示屏上的图像会移动到新的角度，而且很自然，至少音频会做到这一点。 这也成为了360度影音的底线标准，而Ambisonic声场也成为了与视频相得益彰的音频部分。
我们可以更进一步开发学习，承认音频的某些部分实际上不是世界的一部分（非戏剧性声音），因此它们也不应该被空间化，而应该简单地作为立体声流播放，直接连接到耳机。 此外，可以实施一种“听筒锥体”以在混音中强调当前呈现在观众面前的声音。 FB360 Spatial Audio Workstation 上的焦点效果就是一个例子。
这种旋转和空间化的纯粹绑定是非常真实和准确的（虽然焦点的引入并不完全真实），但这种绑定并没有给艺术方向留下太多的探索空间！ 在传统视频中，声音部门常常绕过现实主义，以传达正确的印象并在听众中唤起正确的情感。 对于游戏，我们需要在播放时引入艺术家定义的行为。
那么我们为 360 视频构建音景的建议方法是什么？ 它涉及创建与之前提到的相同的交互式音频结构游戏特效声音，并使用来自视频的视点和参数的组合来提供音频播放（而不是来自游戏引擎的模拟数据）。 音乐是第一个受益于这种方法的音景元素。 一个例子是，主旋律的效果大小与其相对于关键人物出现在可见范围内的时机密切相关。 除非可以交互控制音乐，否则无法做到这一点。
另一个元素是音频混合本身。 例如，你可以想象自己站在沙滩上看着海浪，然后转头看着对岸的城市。 电影导演几乎肯定会根据镜头聚焦的位置需要高度对比的混音，单独使用空间渲染充其量只会影响单个元素的位置。
最后，很容易看出这种自由度已经要求我们认真考虑一种成熟的交互式音频方法。 当使用游戏引擎来渲染体验时游戏特效声音，这也是一个自然的选择，但我认为至少其中一些技术会用在订阅频道的 360 视频中； 这些技术对于达到听众期望的体验水平是必不可少的。 准备好了。 这也是对早期无声电影的有趣回归，当时使用即兴创作来实时匹配图像。
本文是作为音频新现实一书的一部分创建的。
音频的新现实
A Practical Guide for VR, AR, MR & 360 Video (VR, AR, MR & 360-degree video practical guide)
作者：Stephan Schütze、Anna Irwin-Schütze
