自动驾驶为什么一定要多传感器融合

自动驾驶正成为影响未来行业的关键技术，车载传感器是自动驾驶系统中感知外部世界的关键，它们就像车辆的“眼耳口鼻”，帮助车辆感知外部世界，听觉视觉等缺一不可，这几种感知的协作性能也直接决定自动驾驶车辆的安全性。

今天我们就来一起聊聊，自动驾驶中的“眼耳口鼻”共用——多传感器融合是怎么一回事。

常见的车载传感器有哪些？

目前业界主要使用三种传感器，包括摄像头、激光雷达、毫米波雷达。各种传感器各有优缺点，因此在自动驾驶系统中通常有不同的任务划分。

摄像头可以获取光学图像，并从一定角度准确记录物体的颜色、纹理、色彩分布等信息。因此，一些研究使用摄像头完成目标识别和目标跟踪任务，包括道路检测、行人和车辆识别以及局部路径规划。为了克服摄像头可测量角度范围窄的问题，在实际应用中，自动驾驶系统通常采用多台摄像头对周围环境进行全方位监控。

毫米波雷达通过脉冲压缩测量物体的距离，并通过多普勒频移测量物体的速度，这在障碍物检测、行人识别和车辆识别中有广泛的应用。

激光雷达的主要应用包括定位、障碍物检测和环境重建。由于三维（3D）数据与二维数据相比具有一定的信息表示优势，它可以最大限度地恢复真实环境中的交通条件。结合毫米波雷达目标的动态特性、激光雷达的变化优势以及光学图像中目标的细节，利用综合信息有助于车辆执行各种任务，如意图分析、运动规划和自动驾驶。

为什么一定要多传感器融合呢？

使用多传感器融合技术的主要原因是为了扬长避短、冗余设计，提高整车安全系数。多传感器融合系统所实现的功能要远超这些独立系统能够实现的功能总和，相当于1+1>2。使用不同的传感器种类可以在某一种传感器全都出现故障的环境条件下，额外提供一定冗余度。这种错误或故障可能是由自然原因（例如，浓雾天气）或是人为现象（例如，对摄像头或雷达的电子干扰或人为干扰）导致。各传感器优缺点如下：

多传感器融合的挑战

目前市面上大多数自动驾驶的方案均包含摄像头、激光雷达和毫米波雷达，使用同一个系统来采集并处理数据，我们需要对这些传感器统一坐标系和时钟，目的就是为了实现三同一不同：即在同一时刻，同一地理坐标，同一目标出现在不同类别的传感器中。

想必看到这里，聪明的你能意识到，这也不是一件容易的事情，想要达到三同一不同，就要克服不少挑战。

挑战1：统一时钟

在这里要做的就是同步不同传感器的时间戳，本次我们主要介绍两种方法。

GPS时间戳的时间同步方法：该种方法中，传感器硬件需支持GPS时间戳，如果支持，则传感器输出的数据包会有全局的时间戳，这些时间戳以GPS为基准，那么就相当于不同的传感器均以GPS为基准，等同于使用了相同的时钟，而非传感器各自的时钟了。

另外一种方法叫硬同步方法：这种方法可以减小查找时间戳造成的误差。该方法可以以激光雷达作为触发源，输出给其它传感器，当激光雷达转到某个角度时，才触发该角度的摄像头，这可以大大减少时间差的问题。这套时间同步方案可以做到硬件中，这样可以大大降低同步误差，提高数据同步效果。

挑战2：统一坐标系

统一坐标系有两步，一是运动补偿，二是传感器标定。由于所有的传感器都装在车上，车是运动的刚体。因此传感器在采集数据时，周期开始的时间点和结束时间点车辆是处于不同位置的，导致不同时刻采集的数据所处坐标系不同，因此需要根据车体的运动对传感器采集的数据进行运动补偿。

传感器标定分为内参标定和外参标定，内参标定，解决的是单独的每个传感器与世界坐标系间的变换；外参标定是在世界坐标系下，解决的不同传感器间的变换。传感器外参校准依赖于传感器的精确内参校准。

挑战3：融合方法

经过以上几步，可以拿到的信息有：做好运动补偿及时间同步的传感器源数据、传感器内参、传感器外参，有了这些信息后，我们可以做相应的融合方法了。到底如何做呢？下面举两个例子：

摄像头和激光雷达融合：激光雷达数据是包含了明确的(x，y，z)数据的3D观测，通过标定参数与摄像头本身的内参，多传感器深度融合可以实现把3D点投到图像上，图像上的某些像素也就打上了深度信息，帮助感知系统进行基于图像的分割或者训练深度学习模型。

毫米波雷达和激光雷达融合：毫米波雷达和激光雷达的融合方式比较简单。在笛卡尔坐标系下，它们拥有完整的( x，y )方向的信息。因此在笛卡尔坐标系下，激光雷达和毫米波雷达可以实现基于距离的融合。另外，毫米波雷达还可以探测到障碍物速度，而激光雷达通过位置的追踪，也会得到对障碍物速度的估计，对这些速度的信息进行融合，更能帮助筛选错误的匹配候选集。

从目前国内对于自动驾驶的策略来看，多种传感器提高安全冗余是普遍采用的路线。那对于多传感器融合的硬件在环测试也是必要的一环。

讲了这么多，你对多传感器融合是否有了一些了解呢？针对这样的自动驾驶趋势，是德科技也在全面布局，不仅针对单个雷达有测试解决方案，对雷达场景模拟以及多传感器融合方向也在推陈出新，推出ADE(Autonomous Driving Emulation)解决方案以及发布不久的雷达场景模拟器。