利用点集群实现车联网的高效协同感知
芯格瑞 Slab
2024年07月19日 18:00 北京
● V2X ●
V2X是一种车联网通信技术，旨在实现车辆与其他交通参与者及基础设施之间的全面互联。通过V2X，车辆能够与其他车辆（V2V）、交通基础设施（V2I）、行人（V2P）、网络（V2N）以及更多实体进行实时信息交换。该技术利用专用短程通信（DSRC）或蜂窝V2X（C-V2X）等通信标准，提升道路安全性、交通效率和行驶体验。例如，V2X能够提供碰撞预警、信号优先、交通信息广播等功能，支持智能交通系统的广泛应用，推动自动驾驶技术的发展。
● 01介绍 ●
协同车联网感知任务旨在通过邻近交通代理的消息通信增强单车感知能力。传统方法采用鸟瞰图（BEV）地图，但存在对象特征破坏、长距离协同消息聚合效率低和隐式结构表示的问题。为解决这些问题，我们引入点簇作为新的消息单元，结合低级结构和高级语义信息稀疏表示场景，保留对象信息并支持显式结构建模。基于此，我们提出V2X-PC框架，包含点簇打包（PCP）和点簇聚合（PCA）模块，管理带宽和有效聚合消息。
协同感知领域通过高质量的真实和仿真数据集主要方法包括消息提取、打包、聚合和解码四个阶段。每个代理将自身扫描的点云转换为中间表示作为基本的协同消息单元，通过消息打包策略性地传输压缩特征给本体代理。本体代理接收其他代理的消息后，利用多源聚合技术增强场景表示，最终实现全面感知。
尽管有显著发展，目前采用密集BEV地图作为基础的协同感知方法存在几个限制：
1）消息打包过程中可能导致对象特征破坏。通常使用通道压缩或空间选择来平衡感知性能和通信带宽，但这可能导致接收方在重建时对象特征退化。
2）长距离协同消息聚合效率低下，随着密集BEV特征图扩展，计算复杂度呈二次增长。
3）体素化操作牺牲了3D几何细节，可能限制了预测框边界的精度。
图1. 点簇优于BEV地图协同感知
我们提出了一种名为V2X-PC的新型协同感知框架，使用点簇作为协同消息单元，适用于V2X自动驾驶。框架包括点簇编码器（PCE）用于将所有代理的原始点云编码为点簇表示，并通过点簇打包（PCP）模块灵活控制消息的点数和几何结构，以适应不同的带宽限制。在消息聚合阶段，点簇聚合（PCA）模块根据距离匹配和合并来自其他代理的点簇，实现本体代理对周围场景的全面理解。
为验证我们的V2X-PC框架有效性，我们在V2X-Set和DAIR-V2X两个流行的基准测试集上进行了实验，结果显示超过了基于BEV的方法。进一步展示了协同感知对提升单车感知的好处，根据目标物体被观察到的点数将其分组，观察到的点数越少，越需要协同感知提升感知能力。
● 02实验操作 ●
一、协同感知
协同感知可分为早期、中期和晚期三种类型。早期协同将车辆和基础设施的原始感官数据整合，提供全面视角，但易导致通信网络负载过大，不切实际。晚期协同在输出空间进行协同，带宽经济，但对噪声和估计误差敏感。中期协同允许相关代理交换中间特征，近年来显示出巨大潜力。为应对带宽限制，提出了各种策略决定谁、何时、何地进行通信。现有方法在接收其他智能体的特征后，采用注意力机制、图神经网络、maxout和加法聚合信息。
图2. 方法包括：点聚类编码器提取点聚类，点簇堆积模块过滤和校正点簇，控制带宽使用。接收其他智能体消息后，解决延迟和错误，将点聚类转换为自我坐标空间，最后使用点聚合模块输出预测。
二、稀疏检测器
主流密集3D探测器将点云转换为中间表示，但会牺牲几何细节并引入量化误差。基于点的探测器，如PointRCNN和3DSSD，加速了点方法，但对于大规模点云，耗时的邻域查询仍不现实。FSD和VoxelNeXt通过全稀疏设计简化了结构。本文提出点簇作为协同消息单元，保留低级结构信息，支持高效协同。
三、V2X-PC
图2展示了我们的方法架构。首先，所有智能体的原始点云由共享点聚类编码器（PCE）处理，对前景点进行分割并划分为聚类。提取点坐标、中心坐标和聚类特征作为中间表示。然后，点簇包装（PCP）模块过滤噪声并校正前景簇，减少点数以控制带宽。接收其他智能体消息后，解决姿态误差和时间延迟，并通过姿态变换对齐点聚类的坐标空间，形成智能体-聚类图。在消息聚合方面，点聚合（PCA）模块匹配并合并属于同一对象的点聚类，最终通过基于点的算子细化特征并输出检测结果。
3.1 点式聚类编码器
由于原来用于协同感知的BEV表示存在高级对象信息丢失和聚合效率低等问题，我们提出了点聚类表示。所有代理共享相同的点聚类提取管道，使用基于稀疏卷积和反卷积的编码器-解码器点云骨干。点特征通过MLP进行前景分割，3D框注提供语义掩码，使用焦点损失表示分割损失。前景点的偏移量由L1损耗监督，预测中心之间的距离用于聚类。基于Fan等人的方法，提取聚类中心、成对特征和聚类特征聚合，选择SIR编码所有聚类特征。以第l层SIR中第q簇为例，包含点的坐标和特征分别表示为P和F，聚类中心为所有预测中心的平均坐标。
3.2 点集群包装
由于原来用于协同感知的BEV表示存在高级对象信息丢失和聚合效率低等问题，我们提出了点聚类表示。所有代理共享相同的点聚类提取管道，使用基于稀疏卷积和反卷积的编码器-解码器点云骨干。点特征通过MLP进行前景分割，3D框注提供语义掩码，使用焦点损失表示分割损失。前景点的偏移量由L1损耗监督，预测中心之间的距离用于聚类。
为了减少点的冗余同时保留有价值信息，我们提出了语义和分布引导的最远点采样（SD-FPS）方法。对于每个对象的点，我们采用类似于最远点采样（FPS）的方法，考虑点之间的距离、语义置信度得分和分布密度得分来选择关键点。语义置信度得分根据前一阶段的分割预测结果，分布密度分数则使用核密度估计（KDE）获得。
3.3点聚合
在消息通信后，我们需要聚合来自周围智能体的点聚类以形成整体感知。以第j个代理到第i个代理的聚合为例，我们将它们的坐标空间对齐，并根据聚类中心的距离匹配点聚类。匹配后，我们形成两个集合：��unique包含单个智能体观测的点聚类，��share包含同一对象的点聚类元组。每个元组形成一个新的点簇，整合低级和高级对象信息。
由于没有卷积运算和不必要的零填充，因此我们的PCA中聚合点簇的计算复杂性仅与潜在对象的数量密切相关，这比基于BEV的聚合方法更适用于远程协作。
图3. DAIR-V2X-C 测试集中所有目标的直方图以及属于 SP-O、SP-E 和 CP 类别的目标的比例图示
● 03实验数据 ●
一、数据集实现细节
我们将V2XSet的感知范围沿着��、��和��轴设置为[−140.8米, 140.8米] × [−40米, 40米] × [−3米, 1米]，而DAIR-V2X-C的设置为[−100.8米, 100.8米] × [−40米, 40米] × [−3米, 1米]。通信结果使用以2为底的对数尺度测量消息大小（字节）。聚类匹配的阈值��agg、��pose、��¯latency和��¯latency分别设置为0.6、1.5、0.5和2.0。PCE中的SIR层数为��1=6，在消息解码期间为��2=3。聚类特征的通道数��为128。我们使用Adam优化器在NVIDIA Tesla V100 GPU上端到端地训练模型，总共35个epochs。初始学习率为0.001，在第20和30个epochs后分别减少学习率10倍。我们的方法使用PyTorch实现。
表1 V2XSet和DAIR-V2X-C测试集在完美设置下与最先进方法的比较
图4. 考虑性能-带宽权衡的 DAIR-V2X-C 测试集与最新方法的比较
二、与最先进方法的比较
我们使用两个协同感知数据集进行实验，将我们的方法与之前的最先进方法进行比较。结果表明，我们的V2X-PC在V2XSet和DAIR-V2X-C的测试集上优于基于BEV的方法。在最严格的指标AP@0.7中，V2X-PC分别为4.20%和8.99%，展示了其通过协同感知准确定位正确对象的能力，并提供更精确的边界框以覆盖对象。
图5.1 位置误差
图5.2 航向错误
图5. 与 V2XSet 测试集上的最新方法的比较，其姿态噪声遵循高斯分布，分别具有 {0.0,0.1,0.2,0.3,0.4,0.5,0.6} 航向误差和位置误差的标准偏差。
协同代理依赖于来自其他智能体的精确姿态数据来转换接收消息的坐标。尽管存在先进的定位技术如GPS，但姿态误差是不可避免的。因此，协同方法需要能够抵御定位错误。在图5中，我们比较了不同方法对姿态噪声的响应，这些噪声分别遵循高斯分布，航向误差和位置误差的标准偏差{0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6}。结果显示，AP没有显著下降，验证了我们的V2X-PC可以处理较大的噪声干扰，而无需进一步微调和额外的模型参数。
图6. 与 DAIR-V2X-C 测试集上最先进方法的比较，时间延迟为 100���� 、 200���� 、 300���� 、 400���� 500����
表2. DAIR-V2X-C测试集上不同目标类别与最新方法的比较
三、定性分析
如图 7 所示，我们在 V2XSet 和 DAIR-V2X-C 数据集的测试集上展示了对 V2X-PC 的定性评估，有协作和没有协作。我们可以观察到，缺乏协作导致忽视许多对象，导致自我主体无法感知有关远距离或模糊目标的足够信息。使用基于点集群的消息打包和聚合机制可自动对焦。
图7. V2X-PC 在 （a） V2XSet 和 （b） DAIR-V2X-C 测试集上分别有协作和没有协作的定性比较结果。绿色的边界框代表基本事实，红色的边界框在随后的定性结果中一致地描绘了我们的预测。
图8. V2X-PC 在 DAIR-V2X-C 数据集测试集上延迟补偿前后的定性比较结果。边界框中的黄色和蓝色圆点分别表示来自自我汽车和道路基础设施的集群中心。假阳性结果由白色虚线椭圆形突出显示。
我们还在图 8 中可视化了 DAIR-V2X-C 数据集测试集延迟补偿前后的检测结果。延迟导致来自道路基础设施的点聚类（用黄点标记）与当前时间戳上来自自我汽车的点聚类（用蓝点标记）相比出现延迟。因此，自我汽车错误地将它们检测为不同的对象，导致误报预测的升级。经过我们的时延补偿模块的改进，延迟点簇可以调整到正确的位置，从而增强检测结果。此外，我们在图 9 中说明了在 V2XSet 数据集的测试集上进行姿态校正前后的检测结果。通过对齐所有智能体之间的聚类，我们可以校正嘈杂的姿势并获得高精度的边界框。
图9. V2XSet 数据集测试集姿态校正前后的定性比较结果
学术引用
Liu S, Ding Z, Fu J, et al. V2X-PC: Vehicle-to-everything Collaborative Perception via Point Cluster[J]. arXiv preprint arXiv:2403.16635, 2024.
Liu, Si, et al. "V2X-PC: Vehicle-to-everything Collaborative Perception via Point Cluster." arXiv preprint arXiv:2403.16635 (2024).
Liu, S., Ding, Z., Fu, J., Li, H., Chen, S., Zhang, S., & Zhou, X. (2024). V2X-PC: Vehicle-to-everything Collaborative Perception via Point Cluster. arXiv preprint arXiv:2403.16635.
文：选编自arXiv
编辑：祁景博
S-Lab
S-Lab是一家专业的软硬件测试实验室，拥有专业的OTA实验室和通信电子实验室，配备了先进的检测设备和系统。我们为各类智能硬件终端设备提供全面的检测服务，涵盖商业航天、机器人、智能驾驶、智能通信、物联网和专网设备等产品。我们的专业检测服务包括天线性能、射频传导、De-Sense、型号核准预测试等，旨在确保产品的性能和符合性。覆盖多个领域的专业检测设备和能力，包括工业、农业、交通、家居、商业和军工，为客户提供可靠的技术支持。
S-Lab为您的产品提供全方位的专属测试服务，我们致力于确保您的产品在各个方面都能达到最高标准。我们的测试团队将为您的硬件产品进行综合的天线性能测试及射频测试，帮助提高产品质量、缩短上市周期，并协助解决和调优产品问题。作为您产品上市不可或缺的重要环节，S-Lab保证您的设备在性能和兼容性上达到最高水平。
本公众号引用的所有论文内容，版权归原权利人所有。如果您认为我们的引用不当，请及时通知我们，我们将立即删除。
往期推荐
AI大模型技术
人工智能驱动的WiFi室内成像突破
揭秘机器人行为失误与纠正技术
阅读 173