传感器融合技能在自动驾驶汽车工程中的应用

昨天我们介绍了将迎来市场爆发期的汽车激光雷达。传感器融合作为自动驾驶汽车的关键技术之一，激光雷达和摄像头传感器融合是自动驾驶汽车工程师都必须具备的技能。其原因很简单：使用激光雷达、雷达和摄像头的组合来理解环境很常见，感知无处不在，无时无刻不在使用。

自动驾驶汽车通过4个关键技术工作：感知、定位、规划和控制。

传感器融合是感知模块的一部分。我们希望融合来自视觉传感器的数据，以增加冗余、确定性或利用多个传感器的优势。

在感知步骤中，使用激光雷达、雷达和摄像头的组合来理解环境是很常见的。这3个传感器各有优缺点，使用它们可以帮助您拥有所有优点。

如上图所示：

摄像头擅长处理对象分类及理解场景。

作为一种飞行时间传感器，激光雷达非常适合估计距离。

雷达可以直接测量障碍物的速度。

摄像头：2d传感器

相机是一种众所周知的传感器，用于输出边界框、车道线位置、交通灯颜色、交通标志和许多其他东西。在任何自动驾驶汽车中，摄像头从来都不是问题。

如何使用这种2D传感器，并将其与3D传感器（如：激光雷达）一起应用于3D世界？

激光雷达：3d传感器

激光雷达代表光检测和测距。它是一个3D传感器，输出一组点云；每个都有一个(X,Y,Z)坐标。可以在3D数据上执行许多应用：包括运行机器学习模型和神经网络。

激光雷达的优势在于，能够对周遭环境进行精准的3D建模，物体的尺寸、距离一目了然。虽然激光雷达无法识别障碍物是什么，但可以确定它的方位，只需要结合摄像头等视觉识别补足这个短板就可以实现感知信息最大化。

今年上半年，蔚来ET7、小鹏P5等车型打响了激光雷达的第一枪，关于智能汽车是否需要堆硬件，业内的争论僵持不下，如今分为纯视觉路线和感知融合路线。以特斯拉为代表的视觉感知路线，主要靠摄像头获取环境信息，然后利用算法模拟路面信息，从而做出判断进行自动驾驶。

在纯视觉的路线下，特斯拉由于缺乏激光雷达的精度识别，可能存在一定风险。而感知融合路线则依托摄像头、激光雷达、毫米波雷达和超声波雷达等传感器，提供多方位的探测感知，对路况信息做出精准判断。

如何将3D传感器与相机2D传感器配合使用

多融合基本原理就像人脑综合处理信息的过程一样，将各种传感器进行多层次、多空间的信息互补和优化组合处理，最终产生对观测环境的一致性解释。

在这个过程中要充分利用多源数据进行合理支配与使用，而信息融合的最终目标则是基于各传感器获得的分离观测信息，通过对信息多级别、多方面组合导出更多有用信息。这不仅是利用了多个传感器相互协同操作的优势，而且也综合处理了其它信息源的数据来提高整个传感器系统的智能化。

多数据融合原理如下：

（1）多个不同类型传感器（有源或无源）收集观测目标的数据；

（2）对传感器的输出数据（离散或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明）进行特征提取的变换，提取代表观测数据的特征矢量Yi；

（3）对特征矢量Yi进行模式识别处理（如聚类算法、自适应神经网络或其他能将特征矢量Yi变换成目标属性判决的统计模式识别法等），完成各传感器关于目标的说明；

（4）将各传感器关于目标的说明数据按同一目标进行分组，即关联；

（5）利用融合算法将目标的各传感器数据进行合成，得到该目标的一致性解释与描述。

以Autoware为例，在自动驾驶中，传感器是汽车感知周围的环境的硬件基础，在实现自动驾驶的各个阶段都必不可少。自动驾驶离不开感知层、控制层和执行层的相互配合。摄像头、雷达等传感器获取图像、距离、速度等信息，扮演眼睛、耳朵的角色。控制模块分析处理信息，并进行判断、下达指令，扮演大脑的角色。车身各部件负责执行指令，扮演手脚的角色。而环境感知是这一切的基础，因此传感器对于自动驾驶不可或缺。

融合的先决条件

众多的传感器装在同一辆车上，如nuscenes中使用了6个camera、1个lidar、5个radar，使用同一个系统来采集并处理数据，为了将他们规范，我们需要对这些传感器统一坐标系和时钟，目的就是为了实现三同一不同：同一个目标在同一个时刻出现在不同类别的传感器的同一个世界坐标处。

统一时钟在这里要做的就是同步不同传感器的时间戳：

GPS时间戳的时间同步方法:这个需要看传感的硬件是否支持该种方法，如果支持则传感器给出的数据包会有全局的时间戳，这些时间戳以GPS为基准，这样就使用了相同的时钟，而非各自传感器的时钟了。但是还有一个问题，不同传感器的数据频率是不同的，如lidar为10Hz，camera为25/30Hz，那不同传感器之间的数据还是存在延迟，如下图所示。虽然可以通过找相邻时间戳的方法找到最近帧，但是如果两个时间戳差距较大，障碍物又在移动，最终会导致较大的同步误差。

硬同步方法：这种方法可以缓解查找时间戳造成的误差现象。该方法可以以激光雷达作为触发其它传感器的源头，当激光雷达转到某个角度时，才触发该角度的摄像头，这可以大大减少时间差的问题。这套时间同步方案可以做到硬件中，这样可以大大降低同步误差，提高数据对齐效果。

统一坐标系统：一是运动补偿，二是传感器标定。

运动补偿主要针对长周期的传感器，如lidar，周期为ms。由于所有的传感器都装在车上，车是运动的刚体。因此传感器在采集数据时，周期开始的时间点和结束时间点车辆是处于不同位置的，导致不同时刻采集的数据所处坐标系不同，因此需要根据车体的运动对传感器采集的数据进行运动补偿。

传感器标定分为内参标定和外参标定，内参标定，解决的是单独的每个传感器与世界坐标系间的变换；外参标定是在世界坐标系下，解决的不同传感器间的变换。传感器外参校准依赖于传感器的精确内参校准。

传感器融合，一般分为四种

Earlyfusion—Fusingtherawdata，一般称为前融合（或数据融合），汇总所有传感器的数据，得到一个super-sensor，再进行检测；

前是融合来自传感器的原始数据的。因此，一旦插入传感器，该过程就会很快发生。最简单和最常见的方法是将点云(3D)投影到2D图像上。然后检查点云和相机检测到的2D边界框的重合度。

这个3步过程如下所示：

Latefusion—Fusingtheresults，一般称为后融合（或结果融合/信息融合），每个传感器独立检测处理，得到检测结果，再汇总；

后期融合是在独立检测后结果。一种方法是运行独立检测，在两端获得3D边界框，然后融合结果。另一种方法是运行独立检测，得到两端的2D边界框，然后融合结果。

2D示例

3D过程3D障碍物检测(激光雷达)

使用激光雷达在3D中寻找障碍物的过程是众所周知的。有两种方法：

朴素的方法，使用无监督的3D机器学习。

深度学习方法，使用RANDLA-NET等算法。

3D障碍物检测（相机）

这个过程要困难得多，尤其是在使用单目相机时。在3D中寻找障碍物需要我们准确地知道我们的投影值（内在和外在校准）并使用深度学习。如果我们想获得正确的边界框，了解车辆的大小和方向也至关重要。

IOU匹配

空间中的IOU匹配。匹配背后的过程非常简单：如果来自摄像头和激光雷达的边界框在2D或3D中重叠，我们认为障碍是相同的。

下面是来自论文3DIou-Net()的示例。

利用这个想法，我们可以将空间中的物体关联起来，从而在不同的传感器之间进行关联。

Mid-levelfusion，一般称为中级融合/中层融合，各传感器提供一个中等表示（比如特征），再汇总；

Sequentialfusion，一般称为顺序融合，将多传感器级联，前一个为后一个提供信息，帮助下一个传感器检测更准确，缺点是容易造成误差的累积；

前融合为数据层的融合，可以作为其他三种融合方式的基础，目的是将多个传感器数据源统一到同一度量时空，空一致性，时间一致性是为了让两个传感器捕获信息的瞬时时间戳要尽可能地接近，空间一致性是为了将传感器坐标系统一到同一个坐标系。

硬件同步、硬同步：使用同一种硬件同时触发采集命令，实现各传感器采集、测量的时间同步。做到同一时刻采集相同的信息。

软件同步：可以分为时间同步、空间同步。

时间同步、时间戳同步、软同步：通过统一的主机给各个传感器提供基准时间，各传感器根据已经校准后的各自时间为各自独立采集的数据加上时间戳信息，可以做到所有传感器时间戳同步，但由于各个传感器各自采集周期相互独立，无法保证同一时刻采集相同的信息。

空间同步：将不同传感器坐标系的测量值转换到同一个坐标系中，其中激光传感器在高速移动的情况下需要考虑当前速度下的帧内位移校准。

翊弼智行生态企业——上海几何伙伴智能驾驶有限公司（以下简称“几何伙伴”）成立于年10月末，是一家集自动驾驶相关软硬件产品研发、制造、销售和服务于一体的国家高新技术企业。基于机器感知和深度学习，几何伙伴提供面向自动驾驶L2-L4阶段的软硬件集成系统和总体解决方案，创新性地以4D毫米波成像雷达为主传感，辅之以可见光视觉和红外成像等多传感融合的全天候感知模块实现“硬件赋能汽车”，通过感知、决策、规划、控制为一体的全栈式自动驾驶系统软件与解决方案，实现“软件定义汽车”，开创出一条“低成本、高可靠、全天候、易量产”的自动驾驶技术路线。

独特的技术路线赋予几何伙伴领先于行业的竞争优势，随着几何伙伴4D毫米波成像雷达性能的不断提高，融合算法的进一步突破，解决方案的快速迭代，几何伙伴的自动驾驶软硬件集成系统可以实现更加精准的目标感知、聚类追踪、可通行空间估测、高精定位与建图、路径规划、决策控制，满足自动驾驶各个阶段的需求。凭借前瞻的技术路线、雄厚的研发实力、持续的经营能力和良好的成长性，几何伙伴迅速成为自动驾驶领域的一匹黑马，得到主机厂和资本市场的青睐。

年，几何伙伴成为了上汽集团智能驾驶战略合作伙伴之一，成果进入上汽集团的量产平台。商用车领域，取得定点和批产订单，加速推进上海航运中心“海空枢纽”基建工作中自动驾驶集卡物流体系的建设。乘用车量产落地方面，在上汽年推出的车型上已开始测试并着手前装匹配，同时也已应用至其它主机厂。在应用拓展方面，4D毫米波成像雷达将成为智能网联汽车发展过程中道路实现全息感知的重要传感，在智慧城市、智慧交通建设中也得到大量应用。

年7月，几何伙伴完成近4亿人民币的PreA轮融资，其中，Pre-A1轮由经纬中国独家投资；Pre-A2轮由小米长江产业基金领投，百度风投、经纬中国跟投；Pre-A3轮由天使轮股东矽力杰、耀途资本、新余逸何（博润、博物）追加投资，经纬中国继续加持，新投资人普华资本跟投。

随着PreA轮融资的顺利完成，9月，几何伙伴首个车规级智能制造基地落户上海，这也意味着几何伙伴以4D毫米波成像雷达为主传感、更加安全可靠的自动驾驶软硬件集成系统将加速量产落地，为高阶自动驾驶和智慧交通向普通消费者市场深入发展带来更多可能性。

援引内容：

《自动驾驶汽车中的激光雷达和摄像头传感器融合》汽车电子与软件《多传感器融合技术原理及融合技术分析》CSDN