什么系统这么厉害，可以揭示人的衣服底下的身

随着增强现实技术日益火红，深度跟踪摄像头即将出现在旗舰级手机上，现在是时候改进计算机跟踪它们所看到的人的运动轨迹的方式了——即使这意味着要“剥光”他们的衣服。有一种新的计算机视觉系统可以做到这一点，听起来可能有点让人毛骨悚然，但它肯定有它的用处。

最基本的问题是，如果你要捕捉一个人的动态，比如在一部电影里或者在增强现实游戏里，系统会觉得有些模糊，因为他/她穿着衣服。你觉得动作捕捉演员为什么要穿紧身衣呢？因为他们如果穿诸如JNCO牛仔裤的裤子的话，系统会很难准确地判断他们的腿在哪里。

同样的，穿裙子、夹克或者背个背包也会引起那样的困惑——基本上除了什么都不穿以外，不管穿什么都会干扰电脑准确判断你身体的位置。

上述多机构项目将会在盐湖城的电脑视觉及图形辨识（CVPR）大会上进行演示，它结合了深度数据和关于身体姿势如何形成和它能做什么的智能假设。其产生的结果是一种X线视觉，可以揭示一个人衣服底下的身体的形状和位置，即使是在像跳舞这样的快速动作中，该系统也能实时运作。

项目论文基于两种已有的方法——DynamicFusion（动态融合）和BodyFusion（身体融合）。第一种方法使用单摄像头深度数据来判断身体的姿势，但不适合处理快速的移动或者遮挡;第二种方法使用骨架来判断姿态，但同样在快速运动时失去方向。研究人员将这两种方法结合成“DoubleFusion”（双重融合），本质上是从深度数据中创造出一种似是而非的骨架，然后在离核心适当的距离内用皮肤“包裹”骨架。

如上图所示，来自摄像头的深度数据与人的一些基本参考图像结合在一起，产生了一个骨架，并跟踪了身体的关节和端部。最右边则是三种方法DynamicFusion（b），BodyFusion（c）和DoubleFusion（d）分别产生的效果图。

这些结果比任意其中一种方法单独产生的结果都要好得多，似乎从各种各样的姿势和服装中都能产生很好的体态：

不管是连帽衫、耳机还是宽松的衣服，都无法阻挡DoubleFusion的“全视之眼”看穿一切。

然而，该方法存在一个不足：如果你穿了很多衣服，它往往会过度估量你的身材大小——没有简单的方法来判断一个人的体形是否很宽，或者他们是否只是穿着一件厚实的毛衣。当你与一个独立的物体（比如一张桌子或游戏控制器）进行互动时，它就不能很好地运作了——它可能会试图把物体解读为肢体的奇怪延伸。研究团队已将处理这些异常情况纳入未来的研究范畴。

论文的第一作者是中国清华大学的陶宇（Tao Yu音译），但来自北京航空航天大学、美国南加州大学、谷歌和马普研究所的研究人员也有参与。

“我们相信，我们的方法的稳健性和准确性将使得许多应用得以实现，尤其是在AR/VR、游戏、娱乐甚至虚拟试穿领域，因为我们还重构了潜在的体形。”论文作者在总结中写道，“通过DoubleFusion双重融合技术，用户将第一次能够轻松地将自己数字化。”

没有必要去否认这一技术有很多有趣的应用。但也没有必要否认这项技术基本上就是X射线透视器。