如果你还没有读过“用心的努力”和团队成员开发的MR教程：《如何低成本搭建HTC Vive虚拟演播室来播放MR视频？》 》一定要点进去看看我们长期努力的成果。
附上一篇额外的文章：《全景视频直播终于成功了，但是还有一些问题……》，几个月前关于全景视频直播的技术分享，当然最近又有了新的进展。
我们会在合适的时候分享一些非核心的技术内容（核心分享给你了，我们如何赚钱，如何支持研究团队？）。 我们明显可以看到，直播巨头们也开始在全景直播技术上发力，比如豆豆鱼已经在内测推出了全景视频直播，花椒也在努力走全景直播的路子。为大家进行全景直播。 我们拭目以待，看看巨头们能否尽快支持新技术，给我们带来新的可能……
好的，让我们开始吧。 在此之前我先给大家解释一下什么是真正的MR实时视频。 那些谈论美国大片的绿屏抠像、CG合成、AE后期处理的人，超出了本文的范围。 虽然基于目前成熟的技术水平实现起来并不算太难，但是看看MR成就视频中的透视关系，看看物理手柄和虚拟世界物体的实时交互unity 摄像机方向，如果你真的觉得很简单，只能说你太年轻了……
官方惊艳的宣传视频依然是MR视频的杰作。
说来可笑，一开始我找到了一个做电影制片人的朋友，并发誓要做“抠像”。 当时太年轻太天真，以为绿屏+摄像头+HTC Vive就能轻松解决问题。 我没想到......我花了这么长时间才得出切实的成果......
什么是 MR（混合现实）视频？
只有看懂这张图的人才能掌握MR的本质
混合现实视频是由VR图像+人体图像组成的视频。 与普通的记录电脑屏幕游戏场景和实拍分屏显示玩家视频的假VR视频相比，混合现实视频更适合游戏直播和虚拟现实应用宣传视频的制作，比如著名的Google Tilt Bursh绘画程序（请参考下面点击查看视频，其实我正在做的就是实现未来所有的虚拟现实应用，让别人能够沉浸其中）。
不得不说，直播平台所谓VR直播中经常出现的以下两类抠图画面不得不让人质疑。 绿屏VR直播有什么意义？ “通用虚拟现实”真的能在消费者中普及吗？ 这只会让更多的雾里看花……
体验者不会同步出现在游戏画面中，只看游戏画面的旁观者根本不知道玩家在做什么，对吧？
我们来看看Google为Tilt Bursh应用制作的MR宣传视频：
这是一个真正的 MR 视频，很酷不是吗？
我和我的团队成员已经实施了它。 注意手柄的映射、真实物理空间中的人物比例以及虚拟应用中场景的透视和屏幕遮挡关系。
以下是我们团队的成果（请忽略空间和资金造成的差异）：
探索 MR 视频的一些感受：
1、实施方案（详细操作流程请参考之前文档）：
硬件部分：至少5*5绿屏和均匀照明，佳能单反相机或罗技相机，第三个HTC控制器，USB延长线和支架。
软件部分：首先需要开源软件OBS进行图层合成和直播功能，配合Unity引擎开发的一些适应固定视角的虚拟现实内容，可以成功开启四分屏模式on（内容根目录下的Help里很久需要调整cfg配置参数文件）。
2. 一些还需要改进的地方：
办公室的空间有限，意味着绿幕空间无法达到理想的标准，而且照明也不均匀，因为我们真的很穷，买不起昂贵的。 这会导致生成的视频中出现不干净且模糊的剪切效果。 在这里，我只想呼吁当地的富豪赞助一个足够绿、足够大的场地，让我们能够施展才华。
我们正在探索移动摄像机位置的可能性。 一方面游戏运营，场地狭小。 另外，为了移动相机和与之相连的第三个映射手柄，我们必须购买极其昂贵的斯坦尼康，所以移动相机的解决方案不得不暂时搁置。 当然，目前只有少数虚拟摄像机可以支持多摄像机和移动内容。 欢迎提出建议。
该方法目前仅适用于使用Unity引擎开发的游戏。 大家都在等待UE4引擎提供与SteamVR底层接口的接口。 经过尝试，在某些游戏上可以创建四分屏。 换句话说，是可以成功实现的。 四分屏的成功确实已经不远了。 遗憾的是我们缺乏足够的技术能力，还得继续在底层接口上下功夫。 我们希望找到愿意和我们合作的业内前辈，一起做综合傻瓜。 该软件可以最大程度地免除MR技术配置参数的各种麻烦。 另外，当务之急是找到一款比OBS更好的专业软件，能够在实时抠像、图层叠加、分辨率损失等方面做得更好。 嗯，其实还是需要一款支持4K分辨率的分屏显示器……
目前很多游戏应用中内置的虚拟摄像头不支持移动。 换句话说，我们非常希望未来虚拟现实游戏应用的开发者可以在开发过程中直接规划虚拟摄像机，甚至可以考虑直接构建多个摄像机。 虚拟摄像头让制作MR视频、直播时一键轻松切换最佳视野和视角。
毕竟我们还穷，谈不上感情。 一方面，我们希望Unity和UE4官方能够尽快开放MR的底层接口，同时也向广大VR内容开发者提供一些与MR虚拟相机开发相关的DEMO项目文件。 与多个行业的第一批从业者一起学习、共同努力，让虚拟现实更早、更全面地走进寻常百姓家。
再来谈谈感受吧……
至于为什么要花费如此大的精力来研究MR虚拟现实混合视频的制作技术，了解的人应该是不言而喻的。 尤其是那些开设了线下体验中心的老板们一定会明白其中的商业价值。 除了每次都能省钱unity 摄像机方向，除了给新玩家的教学时间之外，还可以给路过的旁观者一个很好的实时演示画面，让他们了解这些戴着眼镜拿着控制器走来走去的人在做什么看到后做什么？
此外，也将为多种行业丰富的商业应用带来更多新的可能，比如教师在虚拟内容环境中的真人教学、多人沉浸式互动展示、科普内容等行业应用都将成为现实。以更灵活的方式呈现。 友好的。
当然，目前最赚钱的短期快速赚钱方式无非就是在Steam、Viveport等直播和分发平台领域制作游戏介绍视频。 毕竟，作为从业者，我们有责任给那些玩腻了假眼镜盒、抱怨虚拟现实无用的人。 出于显而易见的原因，通过大量玩家制作的高质量MR视频，我们试图说服那些悲观主义者购买真正的虚拟现实设备并体验真正的虚拟现实，而不是价值数百美元的山寨盒子。
最后我想说，作为中国虚拟现实行业最早的践行者，我们应该一起成长地图场景，把这个市场做的足够大，让更多的行业外的朋友认识到虚拟现实给业内人士带来的惊喜。 理解。
