微软新AR/VR专利提出的『虚拟全息键盘』解决方案

文本输入是我们数字生活的重要组成要素。一直以来，我们都依赖于物理键盘来实现所述操作，但对于理想的沉浸式现实而言，文本输入的未来可能不会出现物理键盘。

所以，如何实现自然而精确的文本输入是社区正在不断探索的领域。在日前公布的“Techniques For Multi-Finger Typing In Mixed-Reality（用于多指键入的技术）”中，微软提出了自己的构思方案，其希望通过精确的追踪和映射来为用户提供高效的文本输入。

微软指出，在一些实施例中，混合现实系统使用一个或多个全息图呈现混合现实环境。混合现实系统然后可以以全息图的形式在混合现实环境中呈现一个输入接收器（虚拟键盘）。所述输入接收器包括多个输入元件（虚拟按键），所述输入元件（虚拟按键）配置成根据单个致动器（手指）的输入状态，以及各个致动器（手指）到不同输入元件（虚拟按键）的映射，选择性地接收来自输入控制器（手部）的多个单独致动器（手指）的输入。

在一些实施例中，为了防止致动器（手指）和输入元件（虚拟按键）之间的意外交互，可以在活动状态和非活动状态之间各个致动器（手指）的输入状态。当致动器（手指）的输入激活时，致动器（手指）的输入映射为活动状态。相反，当致动器（手指）处于非活动状态时，禁止向输入接收器的输入元件（虚拟按键）提供用户输入。

上图4A-4E说明了与用户手部相关联的多个姿势，并且上述的任何一个都可以识别成致动器（手指）输入状态的触发姿势。

显然，要精确识别手指文本输入操作及对应的映射，微软的方案需要非常强大的计算机视觉能力。