《魂斗罗》这款游戏曾经是20世纪70年代到90年代无数沉迷于游戏的青少年最喜欢的作品。 小编也是不眠不休的沉迷于这款游戏，把这款游戏玩了一遍又一遍。 我什至想象过如果自己能够进入《魂斗罗》的现实世界该有多幸运。
此前，VR版《魂斗罗》将展出的消息让小编非常激动，但一直没有机会看到。 3月27日在深圳举行的Vive生态大会上，小编有幸看到了VR版《魂斗罗》。 此外，游戏中的玩家都在混合现实视频中呈现，这无疑圆了很多玩家的少年梦。 那么《魂斗罗》的MR体验是如何实现的呢？ 小编好奇地揭开了答案。
原理一样，叫法不同
目前，以下公司和工作室在混合现实视频制作方面脱颖而出：
Ivreal，重庆虚拟现实有限公司，称之为混合现实拍摄（MR Shooting）；
YouTube Space 工作室，称其为 Mixed Reality Video Capture；
LIV，即所谓的混合现实；
Blueprint Reality，称之为Mixed Reality Broadcast Mixcast（Mixed Reality Broadcast的缩写）
这些虽然称谓不同，但都是为混合现实的交流服务的。 另外，实现方法都是一样的，通过摄像头，手柄，绿屏。 据介绍，要实现混合现实视频的制作，需要从以下几个角度入手：
一、第三视角的内容
Vive 头戴式显示设备中的两个 AMOLED 显示屏分别为左眼和右眼呈现图像。 在计算机输出中，它通常显示其中一只眼睛看到的内容。 如果只用这个屏幕，会受到很大的限制——人们看不到身后的世界。
因此，录制时通常采用第三人称视角，使用虚拟录像机在与玩家保持一定距离的情况下进行录制。 只需将摄像机对准玩家所在位置，即可录制以第三人称视角呈现的VR内容画面。 但是会增加一定的渲染负担。
2.记录用户图像
由于只需要记录用户图像，因此不需要其他冗余对象。 因此，有必要采用影视拍摄中常用的绿幕。 用真实的相机在一个有绿色屏幕的房间里拍摄，然后用键控技术保留人物形象。
3、复合屏
为了保证虚拟摄像头和真实摄像头图像能够重叠音乐，需要保证两者的视角和距离一致。 这就需要另外一个Vive Tracker或者Vive handle来进行定位和定向，使得虚拟机位置=真机位置。 虚拟世界中定位器的运动相当于现实世界中摄像机的运动。 这样一来，真机拍摄的画面就可以与虚拟画面完美融合，从而达到混淆真人的目的。
在以上过程中，需要面对的是繁琐的绿幕搭建过程。 无论是个人分享、产品发布会，还是需要MR交流的场合，都需要费时费力的绿幕搭建。 此外，内置的绿幕也可能与周围环境不协调。 此外，还需要考虑摄像机和定位器（手柄或跟踪器）之间的偏移量，尽管可以事先计算出偏移量。 但是，如果移动它，可能会导致相对位置发生变化。
视频效果参差不齐
虽然都是基于一致的施工方案unity 摄像机对准物体，但视频呈现效果参差不齐。 我们不妨参考上述公司的实际演示画面来说明：
Ivreal：上图是之前DEMO的演示画面。 不知道是不是选择内容的缘故，画面整体偏暗，画面中出现的人物，可能要仔细观察才能发现。 由于角色没有佩戴手柄耳机，因此无法评估细节贴合度。 但是星球的景深还是很明显的。 在Vive生态大会上展示的《魂斗罗》的混合现实体验方面，其技术有所提升，打造出更具说服力的混合现实体验，角色的契合度也比以往更加自然。
Youtube Space Studio：从动图来看，它的优势更加明显。 当从现实切换到虚拟时，当手柄变成枪时，键控效果不错。 添加背景后，景深层次也更加清晰。 最终，手枪之间的契合度几乎是天衣无缝，画面流畅度相当高。
LIV：把手发出的光在透视结构上比较合理。 下图虽然景深处理正确，但手和棍子的衔接不到位，部分细节丢失严重。
Blueprint Reality：景深层次合格，窗口空白部分也处理得比较清晰，但整体主图偏蓝。 图像处理不到位，手与物体贴合不够稳定。
上述方案呈现的效果在景深处理方面几乎都是合格的。 不过在手柄的操控上，无论是手的同步定位，还是贴合度，都存在着很大的挑战。 此外，在拍摄画面与虚拟环境的融合方面，需要手动调整，以协调自然。 这些无疑是目前难以解决的痛点。
零镜视角
虽然虚拟现实产业还没有爆发式增长unity 摄像机对准物体，但是我们可以看到虚拟现实产业在发展过程中正在解决一系列的问题。 除了该公司的开发者，虚拟现实硬件厂商 HTC Vive 和 Facebook 也向观众展示了自己的解决方案。 VR 内容的创作者，例如 Fantastic Contraption 游戏，允许直接连接摄像机进行视频录制，此外还可以创建漂浮在用户房间中的虚拟物体的剪辑，而无需绿屏。 并且发动机公司不会忘记根据需求进行调整。 Unity 插件中也增加了对混合现实捕捉的支持，Epic Games 的虚幻引擎现在也支持混合现实捕捉。
此外，所有混合现实视频制作似乎都存在的另一个问题是游戏图片，绿幕前的用户戴着耳机，播报呈现为远处的陌生人，看不到耳机。 为此，谷歌推出了一项新技术，可以让混合现实视频显示用户的面部表情，让混合现实视频不再有违和感。 但是我们离正常的画风显然还有很长的路要走。
我们期待有一天我们可以在混合现实视频中看到真实的人脸，或者不再有难看和笨重的耳机。 我们期待更新的技术给我们带来更多的便利，摆脱繁琐的绿幕搭建过程，摆脱生硬的形象印象。 无疑将助力VR游戏直播、VR电竞产业等领域的发展。 或许到那个时候，混合现实视频就会具备真正的传播属性，这才是我们所期待的未来。
