使用虚幻引擎进行混合现实捕捉(待完善)

标签

介绍

混合现实捕捉将现实世界的人和物体置于 VR 中。它允许将 Oculus 用户的实时视频片段与游戏的输出合成，以创建在虚拟场景中显示玩家的组合视频。混合现实捕捉可以成为营销游戏的有用工具。以下是混合现实捕获视频的屏幕截图。

（由 Medium 和艺术家 Dominic Qwek 提供 - https://www.oculus.com/medium/）

创建混合现实捕获时，将使用固定或跟踪摄像机捕获实时视频片段。

请参阅下面的支持页面，了解如何开始使用混合现实捕捉的详细步骤以及以下视频演练：

可以通过包含 OculusVR 插件将混合现实捕获添加到应用程序中，但可以通过蓝图界面启用对该功能的更细粒度控制。即使您使用默认的混合现实捕获实现，我们也鼓励您在混合现实模式下测试应用程序，以确保兼容性，并根据需要使用蓝图界面进行必要的调整。有关更多信息，请参阅下面的蓝图参考部分。

用户可以在启用该功能的情况下启动应用程序，并通过Engine.ini命令行参数控制的设置来控制多个相关设置。有关详细信息，请参阅下面的启动命令和配置部分。

混合现实捕捉在使用 Oculus OVRPlugin 1.31 或更高版本的 Unreal 版本中可用，这意味着您应该使用 Unreal 4.22 或更高版本。有关更多信息，请参阅版本兼容性文档。

相机校准：您必须在启动混合现实捕捉应用程序之前运行相机校准工具来配置外部相机和 VR 对象。

合成场景：混合现实捕获支持两种组合应用程序输出和视频素材的方法：

这两种模式都使用观众屏幕来显示输出。

您可以在 Quest 和 Rift 上使用默认的外部合成模式。外部成分提供了更加抛光的成分。在此模式下，应用程序输出两个窗口。第一个窗口显示整个渲染的应用程序。第二个窗口在绿色背景下显示左侧视频流中的前景内容，并在右侧显示背景内容。

在外部合成模式下，需要使用OBS Studio或XSplit等第三方合成软件来剪辑绿屏、组合图像并补偿相机延迟。请观看下面的视频，了解如何使用 Oculus Quest 设置 OBS。

下图显示了使用外部合成时第二个窗口的示例。

与MRC相关的Blueprints功能包括：

获取 Oculus MR 设置，该设置返回对 Oculus MR 设置对象的引用，该对象可以包含 MRC 设置。
Load from Ini和Save to Ini，将 Oculus MR 设置对象的内容加载到 Engine.ini 文件中或从 Engine.ini 文件中保存。
获取跟踪参考组件和设置跟踪参考组件使您的 MRC 应用程序能够添加相机将跟随的对象，如果您不希望相机跟随第一个 PlayerController（这是默认设置，也是大多数人使用的方法）应用程序）。

启用了混合现实捕捉的示例地图可在私人 Oculus Unreal GitHub 存储库中的Samples/Oculus/MixedRealitySample文件夹下找到。有关如何访问的更多信息，请参阅版本兼容性文档。

该地图使用蓝图界面创建游戏内菜单，用于修改 Oculus MR 设置。

以下蓝图脚本取自示例场景：

单击该MixedRealitySample.uproject文件以在虚幻引擎中打开项目。一旦项目加载，您就可以运行示例。当示例运行时，从控制器：