雷达与摄像头是智能驾驶领域中不可或缺的两大视觉设备。它们各自拥有独特的特性与优势，对于确保行车安全和智能驾驶系统的顺畅运行起着至关重要的作用。在本文中，我们将深入剖析雷达与摄像头在智能驾驶中的特性，提供一份全面的对比分析。
图1 自动驾驶中的物体检测和语义分割的常见场景
雷达传感器
工作原理：雷达通过发送无线电波并接收目标反射的波来计算目标的距离和速度。在自动驾驶应用中，雷达通常指的是毫米波（MMW）雷达，它在毫米波段工作，波长为1-10毫米，频率为76-81千兆赫。具体而言，在前方和四个角方向安装的雷达通常是多输入多输出（MIMO）雷达。MIMO雷达利用多个天线和发射器同时传输和接收具有不同频率的多个信号。其具有多个天线和波束成形能力，可以实现比机械旋转雷达更高的空间分辨率和抗干扰能力。
S-Lab拥有先进的设备和专业团队，致力于为您的智能驾驶汽车提供卓越的雷达性能表现。我们能够全面评估和优化雷达在各种场景下的性能，从而确保您的智能驾驶系统始终保持最佳状态。
基于飞行时间（TOF）原理，雷达传感器通过发射和接收信号之间的时间差计算与物体的距离。基于多普勒原理，当发射的电磁波与检测到的目标之间存在相对运动时，返回波的频率与发射波的频率不同。因此，可以利用这个频率差异来测量目标相对于雷达的速度。借助阵列信号处理方法，可以使用平行天线之间的信号相位差计算方位角。由于传统的3D（距离、多普勒速度和方位角）雷达传感器的接收器仅沿着2D方向排列，因此只能在2D水平坐标上检测目标，无法提供垂直高度信息。最近，随着雷达技术的进步，已经开发出了4D（距离、多普勒速度、方位角和俯仰角）雷达传感器，其中天线水平和垂直排列，使其能够测量高程信息。
传感器特性：除了测量距离、多普勒速度和方位角的能力外，毫米波段中的电磁波具有较低的大气衰减和更好的穿透雨、烟雾和尘埃的性能。这些特性使得雷达传感器能够在恶劣的天气条件下全天候工作。然而，雷达传感器仍然具有一定的局限性。它们具有较低的角分辨率，无法区分紧密排列的物体。雷达生成的点云分布稀疏，一个行人上只有几个点，一辆汽车上有十几个点。这些点无法充分勾勒出物体的轮廓，使得提取几何信息具有挑战性。
多普勒雷达测量存在限制，它们只提供速度的径向分量。缺乏切线速度使得在动态场景中难以估算物体的准确速度。此外，雷达生成的数据噪声较大，可能来自多种来源，如多径干扰、电气干扰和设备缺陷。这种噪声降低了雷达数据的精度和可靠性，同时增加了虚警的概率。雷达在感知静止障碍物方面表现较弱。移动目标可以在距离和速度的一个维度上与周围场景区分开来。然而，雷达对金属非常敏感，经常会产生强烈的反射，如地面上的排水井盖。强烈的反射从静止物体不被过滤，导致无法检测到静止障碍物。
图2 雷达数据表示的生成过程
数据表示：如图2所示，雷达传感器的原始输出是ADC信号，指的是模数转换器（ADC）的输出信号。在这个阶段，信号之间的数值缺乏空间上的一致性，因为所有的信息存在于时间域。此外，信号以复数值表示。为了以更有结构的形式表示ADC信号，通常将其转换为3D Sample-Chirp-Antenna（SCA）张量，如图3(a)所示。
一些研究人员沿着样本、扫频和天线维度应用3D快速傅立叶变换（FFT），以获得称为雷达张量的类似图像的表示（图3(b)），描述了接收到的回波的空间模式。在这个阶段，非相干组合（例如，范数计算）将由复数值组成的ADC信号转换为由实数值组成的雷达张量。使用距离-方位-多普勒（RAD）坐标的这三个特征，形成了两种形式的雷达张量：一种是2D的，包括距离-方位（RA）张量，距离-多普勒（RD）张量和方位-多普勒（AD）张量；另一种是整个3D RAD张量，每一侧包括一个2D张量。
图3 雷达数据表现
此外，雷达张量上进行峰值检测以过滤杂波，生成了一种稀疏点状表示，称为点云，如图3(a)所示。点云提供了更适合可视化和解释的具有空间直观性的表示，但不能准确指示轮廓信息。恒定虚警率（CFAR）是最常用的峰值检测方法，它使雷达系统能够自动调整其对外部干扰强度的敏感性水平，从而保持稳定的虚警率。通过将在给定时间内积累的点云应用网格映射方法，生成用于识别静态物体的网格地图。主要有两种网格地图：一种是基于占用的网格地图，它表示从雷达数据中派生的障碍物和自由空间；另一种是基于振幅的网格地图，它显示每个单元的RCS值。然而，必须注意的是，点云的稀疏性仍然影响了在网格地图上执行的检测和分割的准确性。
此外，一些研究人员在进行距离FFT后执行时频变换，以获得微多普勒特征，用于识别具有微小运动特征的物体。如图3(d)所示，行人行走的多普勒频率显示出周期性变化。这种表示不仅可以区分不同的对象类别（例如行人、自行车和车辆），还可以识别复杂的对象行为，如步态和手势识别。
摄像头传感器
工作原理：摄像头传感器通常由镜头、图像传感器、图像信号处理器（ISP）和输入/输出（I/O）接口组成。镜头收集从目标反射的光线并将其聚焦到图像传感器上。然后，图像传感器将光波转换为电信号，并通过芯片上的ADC将电信号转换为数字值。随后，ISP执行后处理（例如，降噪）并将数字值转换为图像或视频的RGB数据格式。最后，图像数据通过I/O接口传输和显示。
作为智能驾驶领域的专业服务提供商，我们的S-Lab致力于为您的智能驾驶汽车提供卓越的性能表现。我们拥有先进的设备和技术，能够全面评估和优化摄像头在各种情况下的性能。
传感器特性：摄像头捕捉物体的丰富外观特征，包括颜色、形状和纹理。经过神经网络学习后，这些特征可以用于识别障碍物，包括车辆、行人、自行车和各种交通信号。然而，摄像头是被动传感器，这意味着形成图像需要吸收光线。当光线吸收受到不利影响时，比如夜晚光线不足、极端天气、水滴或灰尘附着在镜头上，成像结果将不清晰，物体检测性能可能会受到显著影响。
此外，在自动驾驶中，识别前方障碍物的距离至关重要。然而，在摄像头传感器成像后，世界坐标系中的三维目标成为图像坐标系中的二维目标，导致距离信息的丧失。
数据表示：原始数据表示是摄像头传感器捕捉的未经压缩和处理的格式。它包含图像曝光期间击中摄像头传感器上的每个像素的辐射信息。经过后处理后，生成了RGB图像的数据表示，将图像呈现为像素网格，每个像素包含红、绿和蓝色通道的值。此外，一些应用于自动驾驶的现代摄像头能够生成特定的数据表示。
例如，深度摄像头生成深度图表示，提供有关场景中每个像素的距离信息。依靠强光闪光激光源，红外摄像头输出红外图像表示，能够在恶劣天气和低光条件下呈现感知结果。事件摄像头是仿生视觉传感器，生成与亮度的像素级变化的事件图像。具有亚毫秒的延迟、高动态范围和对运动模糊的鲁棒性，事件摄像头在时间关键场景中实时检测和跟踪对象具有相当的潜力。
图4 雷达与摄像头特性比较
如图4所示。具体而言，雷达传感器是一种主动传感器，可以测量各种信息，包括距离、速度和方位角。如今，配备在驾驶辅助系统中的雷达可以探测到高达300米的距离，具有140°的水平视野和小于1°的角分辨率。
此外，雷达传感器对黑暗和极端天气条件具有较强的鲁棒性，能够全天候工作。摄像头传感器是一种被动传感器，提供物体的颜色、纹理和形状。摄像头的分辨率可高达2K，比雷达传感器在分类方面表现要好得多。就系统成本而言，无论是雷达还是摄像头都相对具有成本效益，被大规模应用于汽车中。
综上所述，雷达和摄像头都有各自的优势和劣势，它们不能相互替代。确保足够的信息获取的最有效方式是相互集成。根据它们各自的特点，互补的优势可以提高场景理解性能。此外，当其中一个传感器失效时，另一个传感器可以继续工作，从而提高自动驾驶系统的可靠性。因此，雷达和摄像头传感器的融合对于自动驾驶中的感知准确性和稳健性至关重要。
学术引用
Al-Hourani, Akram & Evans, Rob & Sithamparanathan, Kandeepan & Moran, Bill & Eltom, Hamid. (2016). Stochastic Geometry Methods for Modeling Automotive Radar Interference. IEEE Transactions on Intelligent Transportation Systems. PP. 10.1109/TITS.2016.2632309.
Yao S, Guan R, Huang X, et al. Radar-camera fusion for object detection and semantic segmentation in autonomous driving: A comprehensive review[J]. arXiv preprint arXiv:2304.10410, 2023.