ToF 3D传感方案争奇斗艳，系统厂商如何选？

2017年，苹果的iPhone X凭借AI技术和3D摄像头敲开了3D视觉的大门。3D摄像头又称之为深度相机，即通过该相机能检测出拍摄空间的景深距离，这也是其与普通摄像头的最大区别。通过3D摄像头获取到的数据，我们能准确地知道图像中每个点离摄像头的距离，这样加上该点在2D图像中的（x，y）坐标，就能获取图像中每个点的三维空间坐标。通过三维坐标就能还原真实场景，实现场景建模等应用。 目前，3D视觉摄像头解决方案比较主流的有三种，分别是结构光、双目视觉，以及ToF（Time of Flighgt，飞行时间）。其中结构光解决方案的代表公司有奥比中光、苹果（Prime Sense）、微软（Kinect-1）、英特尔（RealSense），以及Mantis Vision等；双目视觉的代表公司有Leap Motion、Stereo Labs，以及大疆创新等；ToF技术的代表公司有微软（Kinect-2）、pmd、索尼（SoftKinetic），以及一些智能手机厂商等。 据统计，ToF 3D解决方案的渗透率或将超过结构光，国内智能手机厂商率先布局，2018年8月份，自OPPO R17 Pro搭载ToF 3D传感技术后，12月vivo NEX双屏版也搭载了ToF 3D超感应技术，今年2月华为发布的荣耀V20内置了ToF 3D方案，三星Galaxy S10 5G、LG G8 ThinQ，以及华为P30 Pro也加入了ToF深感相机……
点击上图，即可进入TOF专题页面

ToF的工作原理

ToF（Time of Flight，飞行时间），其实是一种深度信息测量方案，主要由红外光投射器和接收模组构成。投射器向外投射红外光，红外光遇到被测物体后反射，并被接收模组接收，通过记录红外光从发射到被接收的时间，计算出被照物体深度信息，并完成3D建模。ToF已经被广泛应用在测绘、物流、无人驾驶等多个工业领域，方案比较成熟，现在，它在消费电子领域上的应用也开始逐渐增多。 ToF 法根据调制方法的不同，一般可以分为两种：脉冲调制（Pulsed Modulation）和连续波调制（Continuous Wave Modulation）。脉冲调制需要非常高精度时钟进行测量，且需要发出高频高强度激光，目前在实际应用中，通常采用的是正弦波调制，检测相位偏移办法来实现测量距离的功能。图1描述了ToF 相机（连续波）的基本原理。 图1：ToF深度相机工作原理。 虽然，3D结构光在深度测算的精度更高，但工艺相对复杂，并且对环境光线和识别距离都有比较高的限制。而ToF对环境光线的适应能力更强，识别距离可以达到10m，响应时间也更快，而且工艺难度也相对低。因此，现在不少厂商更愿意选择ToF 3D感测解决方案。 总的来说，ToF的优点主要有： 1）检测距离远。在激光能量够的情况下可达几十米。目前应用在消费电子内的ToF技术最大为10米； 2）受环境光干扰比较小； 3）体积小。 当然，ToF 也有一些显而易见的问题： 1）对设备要求高，特别是时间测量模块。 2）资源消耗大。该方案在检测相位偏移时需要多次采样积分，运算量大。 3）边缘精度低。 4）限于资源消耗和滤波，帧率和分辨率都没办法做到较高。

市场上的玩家有哪些？

尽管ToF相机具有很多优点，但目前参与进来的玩家仍然不多，特别是国内厂商。主流的ToF相机参与厂商包括pmd、ams、ST、TI、Infineon、Sony、Optrima、微软等等，其中pmd是一家能够提供户内、户外均能使用的ToF相机厂商，其产品具备多种探测距离，可适用于科研、工业和消费电子等多种场合；Optrima和微软的ToF相机主要面向家庭、娱乐应用，价格相对较低。 Pmd与Infineon Pmd的总部位于德国锡根，且在美国圣荷西、上海、及韩国首尔设有分公司，具有110位员工，是一家基于CMOS的3D飞行时间测距数字成像技术供应商。其前身为德国锡根大学一个研究传感器系统（ZESS）的中心实验室，2002年从德国锡根大学分离出来组建了公司，后被另一家公司收购，组建了现在的pmd公司。该公司研究3D ToF传感技术超过了20年。目前该公司拥有超过350项全球ToF专利和18种量产产品。该公司的产品已经开发到了第8代了。 1996年，Rudolf Schwarte教授申请获得具有Photomischelemente（即光子混合元件和设备）的ToF芯片基础专利。2000年，推出了第一款具有ToF pmd传感器的深度相机。 2002年，以Rudolf Schwarte，Bernd Buxbaum和Torsten Gollewski为代表的pmd技术开发团队获得了德国总统颁发的德国未来奖提名。 2013年，pmd与Infineon合作，生产用于非接触式手势识别3D图像传感器芯片。其与Infineon合作的REAL3图像传感器芯片已经应用在了2019年2月发布的LG G8 ThinQ上。 据在一次媒体活动中，麦正奇先生的介绍，英飞凌与pmd的合作模式是英飞凌主要负责半导体工艺、产品研发和产生；pmd主要负责ToF像素和ToF系统（3D摄像头参考设计）研发。目前，双方已携手推出多款REAL3系列ToF图像传感器，其中第三代产品投入量产，第四代产品今年2月刚发布。新款第四代REAL3图像传感器型号为IRS2771C，芯片面积仅为4.6mm×5mm，提供150k（448 x 336）像素输出，接近HVGA水准的分辨率，较市面上多数的ToF解决方案高出四倍之多。未来还会推出车规级的ToF芯片。 2019年初，pmd与徕卡相机公司合作开发了专为移动应用开发的新参考设计Holkin，Holkin模块使用徕卡镜头，专为pmd最新的3D成像仪IRS2771C而设计。该模块z高度为4.2mm，提供HVGA（480×320像素）分辨率，是当今市场上分辨率最高的最小3D相机。 该模块具有出色的环境光稳定性，同时适用于室内和室外使用。徕卡镜头针对940nm进行了优化，成像仪像素采用了pmd拥有专利的背景照明抑制(SBI)技术。其成像系统很适合手机应用，可用于面向外部世界以及面向用户（自拍）的拍摄。 图2：pmd与徕卡相机公司合作开发的Holkin 3D深感相机模块。 意法半导体(ST) ST对ToF技术也非常关注，到目前为止，已经推出了三代ToF相关产品，VL6180、VL53L0X和VL53L1X。其中VL6180是其第一代产品，采用850nm的波长激光，最大测距大于40cm；VL53L0X是第二代产品，采用了940nm的波长激光，测距距离也提升到了2m。ST称VL53L0X是世界上最小的ToF传感器，采用单光子雪崩二极管，超高速时间分辨率让Direct ToF技术能够采用ST CMOS SPAD制造工艺，集成传感器、滤波器、光学器件、VCSEL和驱动器于一体，系统具有高度校准的特性。 VL53L1X是其第三代产品，该模块内置了镜头与低功耗微控制器，测量距离高达4m，还可以在接收阵列上位感兴趣区域（ROI）的大小和位置编程，从而调整视场角。 它包含一个SPAD（单光子雪崩二极管）感应器阵列、一个基于人体一级安规VCSEL（垂直腔面发射激光器）的集成的940nm不可见光源。 图3：ST VL53L1X系统框图。 德州仪器(TI) 早在2013年，TI就发布过3D ToF手势技术，但是用于控制领域。2017年发布的飞行时间(ToF)传感器OPT8241算是一款经典产品，这颗芯片属于3D ToF图像传感器系列，它将ToF感应功能与经优化设计的模数转换器(ADC)和通用可编程定时发生器(TG)相结合，以高达150帧/秒的帧速率(600读出/秒)提供四分之一的视频图形阵列(QVGA 320 x 240)分辨率数据。主要的应用是深度感测，例如3D扫描、手势控制等等，其终端应用在ATM、人数统计等等。 目前TI的ToF传感器产品主要有4种，分别是OPT3101、OPT8320、OPT8241和OPT921。其中OPT3101是基于ToF的远距离接近和距离传感器模拟前端产品；OPT8320是分辨率位80×60的3D ToF传感器和控制器；OPT8241为3D ToF传感器，而OPT9221是ToF控制器。 艾迈斯半导体(ams) ams的口号就是“传感即生活”，对传感器的专注程度之高无出其右。其业务范围包括传感器解决方案、传感器IC、接口和相关软件。 该公司在2017年2月完成了对Heptagon的收购，而Heptagon在2014年收购了专注3D ToF技术的公司MESA Imaging。可见ams在ToF技术领域的积累也是相当不错的。 其TARA泛光照明器系列是专为各种各样的ToF摄像头而设计的，产品有TARASLIM（适用于执行脸部识别任务的无边框手机平台）和TARA2000（适用于家用机器人和汽车等各种市场的广角手势传感和头部追踪应用）。 Melexis Melexis是全球五大顶级汽车半导体传感器供应商之一，在汽车市场有着绝对的优势，可以说现在平均每辆车就有8颗迈来芯品牌的芯片。在汽车应用中，传感器数量越来越多，尤其是未来的自动驾驶，只有配备大量的高精准度的传感器才能让行驶更安全。 Melexis在2014年推出的MLX75023 是世界上首款符合汽车行业标准的车内ToF传感器，可在生产汽车时将其安装在车内。继索尼收购 SoftKinetic 之后，Melexis在2015年与索尼签订了专利许可协议，获准在自家产品中应用索尼的DepthSense ToF技术。2017年，Melexis 推出了完整的QVGA芯片组和评估套件，力求推进技术开发与采用的进程。 在2019年3月份，Melexis又推出了一款单芯片汽车级VGA ToF图像传感器MLX75027，它是片上系统解决方案，在单一BGA封装中提供VGA（640×480像素）分辨率的图像传感及处理功能。 MLX75027 使用调制光源和光学飞行时间传感功能创建车舱三维图像，可提供对车内人员和物品的监控，并具有手势检测功能。该传感器也可集成至碰撞预警和导航应用中，如检测车外空间和障碍物以及行人等。MLX75027 的工作温度范围为 -40 至 +105°C。 MLX75027的主要特性之一是支持高达100MHz的调制频率，使制造商能够充分发挥VCSEL 的性能，实现更高的距离精度。此外，该传感器支持高达135FPS的帧率，可以检测并跟踪快速移动物体。MLX75027拥有在30 FPS下230mW的低功耗和只需3个电压（2.7V、1.8V 和 1.2V）的电源方案，可简化系统设计并有助于降低电源单元成本。 另外，MLX75027采用索尼半导体解决方案公司的背光源技术（BSI）并包含多种高级特性，如可编程感兴趣区域、连续或触发工作模式以及图像水平/垂直翻转模式。搭载的系统级接口包括CSI-2串行数据输出、MIPI D-PHY和I2C。 Teledyne e2v Teledyne e2v拥有超过40年的成像设计及制造经验，产品涉及CMOS、CCD和EMCCD图像传感器、阵列、相机模块、子系统和线扫描相机。它正在构建一个专用于3D成像的平台，以支持最新的工业应用，比如视觉引导机器人、物流自动导引车辆（AGV）、工厂监控和安全、手持扫描仪，以及户外应用。其3D方案包括激光三角测量、双目视觉和结构光，以及ToF方案。 其新一代ToF 130万像素图像传感器BORA，具有高灵敏度/低噪声，包括多积分或“堆积”模式。可拍摄高速运动物体的3D图像，具有高速双快门，速度高达120帧/秒，全分辨率下的深度图像速度也可达30帧/秒。 ADI 在ToF 3D解决方案种，ADI的产品主要用来增强ToF 3D系统的功能，包括处理、激光驱动器和电源管理功能。产品主要有ADDI903X、ADP3634和ADP5071。其中ADDI903X是具有可编程时序和V驱动器的CCD ToF信号处理器，ADP3634主要用作激光二极管驱动器，ADP5071用作CCD电源和光学模块。 ADDI903x系列产品可支持CCD红外光ToF传感器，分辨率可达640x480。它可将影像信号转换为数字信号，并提供高精确度的脉波时间控制器，闭回路设计，让激光二极管控制的脉波宽度更准确，进而可以得到更精准的深度数据。 国内ToF深度传感解决方案提供商Pico Zense的ToF深度传感模组利用的就是ADI公司的ToF方案，其主打产品DCAM710的深度图像分辨率均可达到640 x 480，画面每秒传输帧数30FPS，该产品尺寸小、功耗经济、成像清晰度、精度均达到VGA标准，可以广泛适用于智能机器人、 AR/VR、 微投影、无人机等领域。 据公开信息，vivo NEX双屏版的3D人脸识别和ToF 3D超感应技术，就是ADI和vivo共同合作的成果。 瑷镨瑞思（ESPROS） 瑞士公司瑷镨瑞思（ESPROS）已经实现3D ToF芯片及模组的量产，其epc660芯片体积非常小，具备高精度的标定补偿，适合做人脸识别和3D建模。据其公司网站资料，epc660芯片具有高NIR（近红外）灵敏度（> 80％@ 850nm），以及在电荷域抑制强环境光的能力。 高灵敏度意味着省电，并且由于主动照明无需设计得那么强，可使设备运行对人眼更安全。epc660采用了带焊球的薄裸片芯片级封装，总厚度为0.23mm，可用于轻薄的移动应用（如智能手机）3D摄像头模组设计。其封装不仅可以缩小模块的整体尺寸，还有助于降低成本。 其epc635模组体积只有8.3mm x 11.2mm x4.5mm，搭配VCSEL，最远距离室内可达10米以上，适合扫地机器人、无人机等方案商。 与其合作的国内方案商有北醒（北京）光子、北京洛伦兹、上海数迹智能和深圳海伯森等。 索尼 索尼将自己从2009年起积攒起来的背照式传感器技术，与2015年收购的Softkinetic Systems SA研发的电流辅助光子调节器（CAPD）相结合，推出了深度感应性能更高，体积更小的新型背照式ToF传感器DepthSense 系列产品。 2017年底推出了其首款产品IMX456QL，该产品已于2018年底批量上市。 图4：索尼ToF摄像头。 索尼分解器解决方案的移动及传感系统事业部长吉原贤表示层对媒体表示，2019年夏天在索尼位于九州的工厂，将开始量产部分ToF传感器。同时也正在与智能手机用摄像头模组供应商推广。特别是中国，“市场本身很大，应用的变化趋势也非常快,我们非常期待”。 据报道，索尼将加大ToF传感器布局。该公司将在2019年下半年提高3D摄像头的产量，以满足下游相关客户的需求，包括苹果、google、三星以及华为。目前索尼公司在全球图像传感器市场份额接近一半，3D业务已经实现盈利。 聚芯微电子 2016年初成立的聚芯微电子坐落于有着武汉东湖新技术开发区，由多位具有丰富行业经验的归国华人组建，是一家致力于向消费电子、人工智能和汽车电子等领域提供高性能混合信号芯片及其解决方案的创新型公司。公司目前拥有ToF 3D传感、传感器信号调理和智能音频等多条产品线，其高性能传感器信号调理芯片已在消费类和汽车级市场实现批量出货。 据公开资料显示，聚芯微电子在2017年完成了A轮融资，投资人为五岳华诺、长安私人资本及春晓东科。到目前为止，该公司已经完成3轮，累计4000万元的融资。ToF传感器芯片以及基于该技术的3D成像方案是他们的发展重点。 SIF2310是聚芯微电子推出的一款背照式技术(BSI) ToF传感器，产品片上集成了一个HVGA (480x360)级分辨率的像素阵列，一个用来调制红外光源的信号发生器、12bitADC、片上温度传感器、独立的逻辑控制单元、片上高速时钟和用于高速数据传输的MIPI接口。 SIF2310支持高达100MHz的调制频率，及高达240fps的输出帧率。同时，芯片针对NIR (近红外)波长进行了特殊优化，具有良好的感光度。配合红外光源，SIF2310可广泛应用于人脸识别、AR/VR、动作捕捉、3D建模、机器视觉、无人驾驶等领域。芯片提供裸片或Glass-BGA封装。 炬佑智能 上海炬佑智能科技有限公司（以下简称“炬佑智能”）成立于2017年1月，是一家开发智能感知与人工智能（AI）系统的科技公司，公司总部设在上海，并在日本、美国、瑞士（筹建中）设有海外分部，同时拓展并支持国内与海外的客户和市场。 炬佑智能产品包括ToF传感器芯片，发光控制芯片，3D图像处理芯片、模组、算法，矫正和应用系统，可支持智能终端、无人机、机器人、智能驾驶、智能空间、智能安防、虚拟和增强现实（VR/AR）购物等各类应用。 其CEO刘洋先生在接受采访时表示，软硬件产品方面，炬佑智能全面布局传感器、IC和算法，已开发出包括分辨率为100 x 10、100 x 100、240 x 100、240 x 200、320 x 240等系列850nm和940nm ToF传感芯片，并将推出VGA和百万像素产品，同时还开发了智能3D控制芯片和智能发光发射芯片。 不过，<电子发烧友>在其官网上并未查到具体产品型号。 图5：炬佑智能官网截图。 歌尔股份 歌尔股份目前在微型麦克风、高端虚拟现实产品、微型扬声器、耳机、智能可穿戴电子、智能家用电子游戏配件、MEMS麦克风、MEMS传感器等领域占有不错的市场份额，但其在新技术上的投入也不遗余力，截止目前，该公司ToF 3D模组已开始量产。 图6：歌尔股份的ToF 3D传感摄像头。 根据今年3月22日，歌尔股份在深交所互动易平台回复投资者提问，该公司一直积极布局光学领域的核心技术，最近推出的TOF 3D感知模组，已经得到了客户积极反馈，很快实现量产。 不到4个月时间，在7月6日的投资者互动平台上，歌尔股份表示，公司的TOF 3D模组已经开始量产。在MR方面，歌尔参与了微软公司新一代MR公司的光学、结构、硬件的设计和整机制造，目前已有基于此平台的产品如三星奥德赛MR产品上市。

下游行业快速扩张，推动ToF 迅速成长

ToF的快速成长依赖于下游领域的快速扩张。受益于下游市场的迅速崛起，ToF正在进入快速成长期： 一方面，智能手机进入存量时代，微创新持续产生并加速渗透，对深度摄像的需求以及智能手机交互方式的变化促进ToF的市场扩张，在技术改善和成本趋低的背景下，ToF技术未来有望在手机中广泛应用； 另一方面，汽车智能化趋势越来越明显，ADAS渗透率不断提高，车内监控、手势识别、自动驾驶环境感知等功能对ToF方案的需求也十分强劲。 还有，工业4.0中越来越多的工厂在积极导入自动化生产线、协同机器人，以及AGV无人搬运车等。ToF传感器可以用作HMI(人机接口：Human Machine Interface)，在高度自动化的工厂中，工人和机器人需要在很近的距离下协同工作，ToF设备可以用于控制各种情形下的安全距离。因此，这方面的需求也在增长。 总的来说，ToF技术具有丰富的应用场景，在汽车、工业、人脸识别、健康，游戏、娱乐、电影特效、3D打印和机器人等诸多领域都有应用。这些应用的增长，将会持续推动ToF技术的成长。