苹果利用场景摄像头重定向解决VR头显透视MR效果

现在不少VR头显都会利用前置摄像头纳入AR透视功能。但传统的透视视图质量有限，这是因为眼睛、显示器和摄像头在空间中的位置不一致。糟糕的透视视图会导致距离知觉受损、定向障碍和手眼协调性差。

所以，苹果希望利用所谓的“场景摄像头重定向”技术来帮助解决这个问题。

苹果指出，在各种实施例中，通过变换由场景摄像头捕获的图像来补偿眼睛、显示器和摄像头的位置差异，以使其看起来像是在与用户眼睛相同的位置捕获，这可以缓解所述问题。一种形式的补偿是基于平面世界的假设：真实世界是一个单一深度的图像。在各种实现中，所述深度以各种方式确定。

在一个实现中，MR视图呈现模块包括数据获取单元、MR视图呈现单元、单应单元和数据发送单元。

在一个实现中，数据发送单元配置为至少向控制组件发送数据（如渲染数据和位置数据等）。

在一个实现中，数据获取单元配置为从至少控制器组件获取数据（如渲染数据、交互数据、传感器数据、位置数据等。

在一个实现中，MR视图呈现单元配置为经由一个或多个显示器呈现MR内容。

在一个实现中，单应单元配置成基于场景的深度，以及场景摄像头的视点和用户的视点之间的差异来变换场景的图像。

简单来说，所述方法包括使用场景摄像头捕捉场景的图像；使用一个或多个处理器确定场景的深度；使用一个或多个处理器，基于场景摄像头视点和用户视点之间的深度和差异来变换场景的图像；然后显示器显示变换后的图像。

如上图所示，5A是不佩戴头显时用户应看到的画面；5B是由场景摄像头捕获并呈现的画面，场景摄像头的视点和用户视点不同；5C则是应用变换后的图像。

在将5A与5B进行比较时，可以注意到，由于场景摄像头的视点存在水平偏移，图像中的对象看起来更近。另外，由于场景摄像头的视点存在垂直偏移，图像中的对象看起来较低。

在将5C的变换图像与5A进行比较时，可以注意到5C的对象出现在与5A对象相同的高度和距离处。

相关专利： Scene camera retargeting

名为Scene camera retargeting的苹果专利申请最初在2020年9月提交，并在日前由美国专利商标局公布。
责任编辑人：CC