杏彩体育科技股份有限公司-工程机械智能化解决方案

　　

　　本发明公开了一种基于雷视融合的路侧感知方法及系统，该方法包括：获取传感器数据；基于投影平面和图像像素平面，对所述激光雷达数据、所述毫米波雷达数据和所述视频数据进行时空对齐；基于所述投影平面和所述图像像素平面，将时空对齐后的激光雷达数据、毫米波雷达数据和视频数据进行单路融合，得到若干路第一融合感知数据；将若干路所述第一融合感知数据进行分组，根据分组结果对所述第一融合感知数据进行更新，以获取第二融合感知数据。本发明实施例能够获取到高精度的路侧感知数据。

　　获取传感器数据；其中，所述传感器数据包括激光雷达数据、毫米波雷达数据和视频数

　　基于投影平面和图像像素平面，对所述激光雷达数据、所述毫米波雷达数据和所述视

　　频数据进行时空对齐；其中，所述投影平面是根据预先构建的全景图生成的，所述图像像素

　　基于所述投影平面和所述图像像素平面，将时空对齐后的激光雷达数据、毫米波雷达

　　数据和视频数据进行单路融合，得到若干路第一融合感知数据；其中，每一所述第一融合感

　　将若干路所述第一融合感知数据进行分组，根据分组结果对所述第一融合感知数据进

　　2.如权利要求1所述的基于雷视融合的路侧感知方法，其特征在于，所述激光雷达数据

　　包括多个激光雷达中的每一个的第一单激光雷达数据，所述毫米波雷达数据包括多个毫米

　　波雷达中的每一个的第一单毫米波雷达数据，所述视频数据包括多个摄像机中的每一个所

　　所述多个激光雷达、所述多个毫米波雷达与所述多个摄像机按照预设的匹配关系组成

　　若干路雷视组合，每一路雷视组合是由一激光雷达、一毫米波雷达与一摄像机组成，则所述

　　所述图像像素平面包括与所述多个摄像机所拍摄到的多张第一视频帧图像一一对应

　　则，所述基于投影平面和图像像素平面，对所述激光雷达数据、所述毫米波雷达数据和

　　基于所述投影平面，分别对各所述第一单激光雷达数据进行第一时空对齐处理，得到

　　基于所述投影平面，分别对各所述第一单毫米波雷达数据进行第二时空对齐处理，得

　　基于每一所述雷视组合、每一所述单图像像素平面和所述投影平面，对每一所述第二

　　单激光雷达数据、每一所述第二单毫米波雷达数据和每一所述第一视频帧图像进行第三时

　　所述基于所述投影平面，分别对各所述第一单激光雷达数据进行第一时空对齐处理，

　　对校准后的多个所述第一单激光雷达数据进行时间偏差调优，以获取多个第二单激光

　　所述基于所述投影平面，分别对各所述第一单毫米波雷达数据进行第二时空对齐处

　　分别将辅助激光雷达数据以及各所述第一单毫米波雷达数据，与所述投影平面进行空

　　分别对空间对齐后的所述辅助激光雷达数据以及各所述第一单毫米波雷达数据，进行

　　基于校准后的所述辅助激光雷达数据，对校准后的每一所述第一单毫米波雷达数据进

　　所述基于每一所述雷视组合、每一所述单图像像素平面和所述投影平面，对每一所述

　　第二单激光雷达数据、每一所述第二单毫米波雷达数据和每一所述第一视频帧图像进行第

　　基于所述单图像像素平面和所述投影平面，将所述第二单激光雷达数据与所述第一视

　　频帧图像进行空间对齐，以及，将所述第二单毫米波雷达数据与所述第一视频帧图像进行

　　对空间对齐后的所述第二单激光雷达数据、所述第二单毫米波雷达数据和所述第一视

　　频帧图像进行网络时间协议校准及时间偏差调优，以获取这一所述雷视组合对应的单路雷

　　4.如权利要求2所述的基于雷视融合的路侧感知方法，其特征在于，每一所述雷视组合

　　对应的单路雷视数据包括第三单激光雷达数据、第三单毫米波雷达数据和第二视频帧图

　　则，所述基于所述投影平面和所述图像像素平面，将时空对齐后的激光雷达数据、毫米

　　针对每一所述雷视组合对应的单路雷视数据，执行如下步骤以获取这一所述雷视组合

　　将所述第三单激光雷达数据和所述第三单毫米波雷达数据，均转换到所述第二视频帧

　　图像所在的单图像像素平面，得到携带有雷达数据的第三视频帧图像；对所述第三视频帧

　　图像进行检测，得到若干第一交通参与者位置信息；对通过时序分析进行校准后的所述若

　　干第一交通参与者位置信息，进行相关性计算，得到第一距离矩阵；对所述第一距离矩阵进

　　行匈牙利匹配得到图像平面匹配信息；其中，所述相关性计算包括位置相关性计算及特征

　　将所述第三单激光雷达数据、所述第三单毫米波雷达数据和所述第二视频帧图像，均

　　转换到所述投影平面，并对转换到所述投影平面后得到的数据通过时序分析进行校准，得

　　到投影数据；对所述投影数据进行所述相关性计算，得到第二距离矩阵；对所述第二距离矩

　　阵进行匈牙利匹配得到投影平面匹配信息；其中，所述投影数据携带有若干第二交通参与

　　对所述图像平面匹配信息和所述投影平面匹配信息进行加权计算，得到最终匹配信

　　基于所述最终匹配信息、所述单图像像素平面和所述投影平面，计算获取若干轨迹队

　　5.如权利要求4所述的基于雷视融合的路侧感知方法，其特征在于，所述基于所述最终

　　匹配信息、所述单图像像素平面和所述投影平面，计算获取若干轨迹队列成员信息，包括：

　　在所述单图像像素平面上，以校准后的所述若干第一交通参与者位置信息作为第一历

　　史队列成员信息，根据所述最终匹配信息对所述第一历史队列成员信息进行所述相关性计

　　在所述投影平面上，以校准后的所述若干第二交通参与者位置信息作为第二历史队列

　　成员信息，根据所述最终匹配信息对所述第二历史队列成员信息进行所述相关性计算，得

　　根据所述轨迹配准结果分别对所述第一历史队列成员信息和所述第二历史队列成员

　　6.如权利要求5所述的基于雷视融合的路侧感知方法，其特征在于，所述根据所述轨迹

　　配准结果分别对所述第一历史队列成员信息和所述第二历史队列成员信息进行更新，包

　　在所述单图像像素平面上，根据所述轨迹配准结果，对所述第一历史队列成员信息中

　　根据所述类型更新的结果，在所述投影平面上对所述第二历史队列成员信息中的第二

　　在所述投影平面上，根据所述轨迹配准结果，对所述第二历史队列成员信息中的第二

　　根据所述运动信息更新的结果，在所述单图像像素平面上对所述第一历史队列成员信

　　7.如权利要求4所述的基于雷视融合的路侧感知方法，其特征在于，所述将若干路所述

　　第一融合感知数据进行分组，根据分组结果对所述第一融合感知数据进行更新，以获取第

　　按照两路为一组的原则对若干路所述第一融合感知数据进行分组，得到N组数据组；其

　　针对每一组数据组，通过多维id匹配将两路所述第一融合感知数据进行融合，得到一

　　以N组数据组所对应的N路第二融合感知数据作为新的若干路所述第一融合感知数据，

　　8.如权利要求7所述的基于雷视融合的路侧感知方法，其特征在于，所述针对每一组数

　　据组，通过多维id匹配将两路所述第一融合感知数据进行融合，得到一路对应于这一组数

　　针对每一所述第一融合感知数据，确定其包含的若干所述交通参与者的多维度id以及

　　运动信息，以构建这一所述第一融合感知数据对应的信息集合；其中，所述多维度id包括所

　　基于两路所述第一融合感知数据所对应的两个所述信息集合S和S，计算位置偏差矩

　　阵、轨迹相似度矩阵和类型偏差矩阵，并对所述位置偏差矩阵、轨迹相似度矩阵和类型偏差

　　对所述加权匹配矩阵进行匈牙利匹配，得到第一集合、第二集合和第三集合；其中，所

　　述第一集合为S和S匹配的集合，所述第二集合为S未匹配的集合，所述第三集合为S未匹

　　基于所述第一集合、所述第二集合和所述第三集合，对所述轨迹队列成员信息进行更

　　9.如权利要求8所述的基于雷视融合的路侧感知方法，其特征在于，所述基于所述第一

　　集合、所述第二集合和所述第三集合，对所述轨迹队列成员信息进行更新，以形成一路对应

　　基于所述第一集合和遍历得到的多维度id，确定对所述轨迹队列成员信息执行的第一

　　基于所述第二集合、所述第三集合和遍历得到的多维度id，确定对所述轨迹队列成员

　　所述第二更新策略包括：若在遍历得到的多维度id以及所述第一集合中查找到在任一

　　维度下id相同的所述交通参与者，则更新这一所述交通参与者的信息，否则新建这一所述

　　若在遍历得到的多维度id以及所述第一集合中查找不到在任一维度下id相同的所述

　　若在遍历得到的多维度id以及所述第一集合中查找到id相同的所述交通参与者，则更

　　若在遍历得到的多维度id以及所述第一集合中查找到在多个维度下id相同的至少两

　　个所述交通参与者，计算至少两个所述交通参与者的相似度，当所述相似度大于等于预设

　　数据获取模块，用于获取传感器数据；其中，所述传感器数据包括激光雷达数据、毫米

　　时空对齐模块，用于基于投影平面和图像像素平面，对所述激光雷达数据、所述毫米波

　　雷达数据和所述视频数据进行时空对齐；其中，所述投影平面是根据预先构建的全景图生

　　成的，所述图像像素平面是由所述视频数据确定的，所述全景图对应于目标路侧感知范围；

　　单路融合感知模块，用于基于所述投影平面和所述图像像素平面，将时空对齐后的激

　　光雷达数据、毫米波雷达数据和视频数据进行单路融合，得到若干路第一融合感知数据；其

　　组分析模块，用于将若干路所述第一融合感知数据进行分组，根据分组结果对所述第

　　[0001]本发明涉及路侧感知技术领域，尤其涉及一种基于雷视融合的路侧感知方法及系

　　[0002]在现有技术中，通常基于毫米波雷达和视频摄像机两类传感器的信息进行融合分

　　析，主要分为以下几个步骤：1)传感器标定：对于传感器进行时间同步以及坐标系标定；2)

　　单路数据融合：目前主要两种方法，一种是将毫米波雷达的数据投影到图像像素平面，基于

　　雷达和视频摄像机的数据均投影到投影平面，基于点距离、运动轨迹等特征进行度量与匹

　　[0003]可见，现有技术中一般考虑两种感知设备所感知到的信息，从而对目标区域的感

　　知不够全面，并且一般基于单个平面进行融合，从而导致不同设备间的数据匹配不够精准。

　　[0004]为了解决上述技术问题，本发明实施例提出了一种基于雷视融合的路侧感知方法

　　[0005]为了实现上述目的，本发明实施例提供了一种基于雷视融合的路侧感知方法，包

　　[0006]获取传感器数据；其中，所述传感器数据包括激光雷达数据、毫米波雷达数据和视

　　[0007]基于投影平面和图像像素平面，对所述激光雷达数据、所述毫米波雷达数据和所

　　述视频数据进行时空对齐；其中，所述投影平面是根据预先构建的全景图生成的，所述图像

　　[0008]基于所述投影平面和所述图像像素平面，将时空对齐后的激光雷达数据、毫米波

　　雷达数据和视频数据进行单路融合，得到若干路第一融合感知数据；其中，每一所述第一融

　　[0009]将若干路所述第一融合感知数据进行分组，根据分组结果对所述第一融合感知数

　　[0010]进一步的，所述激光雷达数据包括多个激光雷达中的每一个的第一单激光雷达数

　　据，所述毫米波雷达数据包括多个毫米波雷达中的每一个的第一单毫米波雷达数据，所述

　　[0011]所述多个激光雷达、所述多个毫米波雷达与所述多个摄像机按照预设的匹配关系

　　组成若干路雷视组合，每一路雷视组合是由一激光雷达、一毫米波雷达与一摄像机组成，则

　　[0012]所述图像像素平面包括与所述多个摄像机所拍摄到的多张第一视频帧图像一一

　　[0013]则，所述基于投影平面和图像像素平面，对所述激光雷达数据、所述毫米波雷达数

　　[0014]基于所述投影平面，分别对各所述第一单激光雷达数据进行第一时空对齐处理，

　　[0015]基于所述投影平面，分别对各所述第一单毫米波雷达数据进行第二时空对齐处

　　[0016]基于每一所述雷视组合、每一所述单图像像素平面和所述投影平面，对每一所述

　　第二单激光雷达数据、每一所述第二单毫米波雷达数据和每一所述第一视频帧图像进行第

　　[0017]进一步的，所述基于所述投影平面，分别对各所述第一单激光雷达数据进行第一

　　[0019]分别对空间对齐后的各所述第一单激光雷达数据进行网络时间协议校准；

　　[0020]对校准后的多个所述第一单激光雷达数据进行时间偏差调优，以获取多个第二单

　　[0021]所述基于所述投影平面，分别对各所述第一单毫米波雷达数据进行第二时空对齐

　　[0022]分别将辅助激光雷达数据以及各所述第一单毫米波雷达数据，与所述投影平面进

　　[0023]分别对空间对齐后的所述辅助激光雷达数据以及各所述第一单毫米波雷达数据，

　　[0024]基于校准后的所述辅助激光雷达数据，对校准后的每一所述第一单毫米波雷达数

　　[0025]所述基于每一所述雷视组合、每一所述单图像像素平面和所述投影平面，对每一

　　所述第二单激光雷达数据、每一所述第二单毫米波雷达数据和每一所述第一视频帧图像进

　　[0027]基于所述单图像像素平面和所述投影平面，将所述第二单激光雷达数据与所述第

　　一视频帧图像进行空间对齐，以及，将所述第二单毫米波雷达数据与所述第一视频帧图像

　　[0028]对空间对齐后的所述第二单激光雷达数据、所述第二单毫米波雷达数据和所述第

　　一视频帧图像进行网络时间协议校准及时间偏差调优，以获取这一所述雷视组合对应的单

　　[0029]进一步的，每一所述雷视组合对应的单路雷视数据包括第三单激光雷达数据、第

　　[0030]则，所述基于所述投影平面和所述图像像素平面，将时空对齐后的激光雷达数据、

　　毫米波雷达数据和视频数据进行单路融合，得到若干路第一融合感知数据，包括：

　　[0031]针对每一所述雷视组合对应的单路雷视数据，执行如下步骤以获取这一所述雷视

　　[0032]将所述第三单激光雷达数据和所述第三单毫米波雷达数据，均转换到所述第二视

　　频帧图像所在的单图像像素平面，得到携带有雷达数据的第三视频帧图像；对所述第三视

　　频帧图像进行检测，得到若干第一交通参与者位置信息；对通过时序分析进行校准后的所

　　述若干第一交通参与者位置信息，进行相关性计算，得到第一距离矩阵；对所述第一距离矩

　　阵进行匈牙利匹配得到图像平面匹配信息；其中，所述相关性计算包括位置相关性计算及

　　[0033]将所述第三单激光雷达数据、所述第三单毫米波雷达数据和所述第二视频帧图

　　像，均转换到所述投影平面，并对转换到所述投影平面后得到的数据通过时序分析进行校

　　准，得到投影数据；对所述投影数据进行所述相关性计算，得到第二距离矩阵；对所述第二

　　距离矩阵进行匈牙利匹配得到投影平面匹配信息；其中，所述投影数据携带有若干第二交

　　[0034]对所述图像平面匹配信息和所述投影平面匹配信息进行加权计算，得到最终匹配

　　[0035]基于所述最终匹配信息、所述单图像像素平面和所述投影平面，计算获取若干轨

　　迹队列成员信息；其中，所述若干轨迹队列成员信息组成所述第一融合感知数据。

　　[0036]进一步的，所述基于所述最终匹配信息、所述单图像像素平面和所述投影平面，计

　　[0037]在所述单图像像素平面上，以校准后的所述若干第一交通参与者位置信息作为第

　　一历史队列成员信息，根据所述最终匹配信息对所述第一历史队列成员信息进行所述相关

　　[0038]在所述投影平面上，以校准后的所述若干第二交通参与者位置信息作为第二历史

　　队列成员信息，根据所述最终匹配信息对所述第二历史队列成员信息进行所述相关性计

　　[0039]基于所述第三距离矩阵和所述第四距离矩阵，进行轨迹配准得到轨迹配准结果；

　　[0040]根据所述轨迹配准结果分别对所述第一历史队列成员信息和所述第二历史队列

　　[0041]进一步的，所述根据所述轨迹配准结果分别对所述第一历史队列成员信息和所述

　　[0042]在所述单图像像素平面上，根据所述轨迹配准结果，对所述第一历史队列成员信

　　[0043]根据所述类型更新的结果，在所述投影平面上对所述第二历史队列成员信息中的

　　[0044]在所述投影平面上，根据所述轨迹配准结果，对所述第二历史队列成员信息中的

　　[0045]根据所述运动信息更新的结果，在所述单图像像素平面上对所述第一历史队列成

　　[0046]进一步的，所述将若干路所述第一融合感知数据进行分组，根据分组结果对所述

　　[0047]按照两路为一组的原则对若干路所述第一融合感知数据进行分组，得到N组数据

　　[0048]针对每一组数据组，通过多维id匹配将两路所述第一融合感知数据进行融合，得

　　[0049]以N组数据组所对应的N路第二融合感知数据作为新的若干路所述第一融合感知

　　[0050]进一步的，所述针对每一组数据组，通过多维id匹配将两路所述第一融合感知数

　　[0051]针对每一组数据组中的两路所述第一融合感知数据，执行如下步骤：

　　[0052]针对每一所述第一融合感知数据，确定其包含的若干所述交通参与者的多维度id

　　以及运动信息，以构建这一所述第一融合感知数据对应的信息集合；其中，所述多维度id包

　　[0053]基于两路所述第一融合感知数据所对应的两个所述信息集合S和S，计算位置偏

　　差矩阵、轨迹相似度矩阵和类型偏差矩阵，并对所述位置偏差矩阵、轨迹相似度矩阵和类型

　　[0054]对所述加权匹配矩阵进行匈牙利匹配，得到第一集合、第二集合和第三集合；其

　　中，所述第一集合为S和S匹配的集合，所述第二集合为S未匹配的集合，所述第三集合为

　　[0055]基于所述第一集合、所述第二集合和所述第三集合，对所述轨迹队列成员信息进

　　[0056]进一步的，所述基于所述第一集合、所述第二集合和所述第三集合，对所述轨迹队

　　列成员信息进行更新，以形成一路对应于这一组数据组的第二融合感知数据，包括：

　　[0058]基于所述第一集合和遍历得到的多维度id，确定对所述轨迹队列成员信息执行的

　　[0059]基于所述第二集合、所述第三集合和遍历得到的多维度id，确定对所述轨迹队列

　　[0060]所述第二更新策略包括：若在遍历得到的多维度id以及所述第一集合中查找到在

　　任一维度下id相同的所述交通参与者，则更新这一所述交通参与者的信息，否则新建这一

　　[0062]若在遍历得到的多维度id以及所述第一集合中查找不到在任一维度下id相同的

　　[0063]若在遍历得到的多维度id以及所述第一集合中查找到id相同的所述交通参与者，

　　[0064]若在遍历得到的多维度id以及所述第一集合中查找到在多个维度下id相同的至

　　少两个所述交通参与者，计算至少两个所述交通参与者的相似度，当所述相似度大于等于

　　[0066]数据获取模块，用于获取传感器数据；其中，所述传感器数据包括激光雷达数据、

　　[0067]时空对齐模块，用于基于投影平面和图像像素平面，对所述激光雷达数据、所述毫

　　米波雷达数据和所述视频数据进行时空对齐；其中，所述投影平面是根据预先构建的全景

　　图生成的，所述图像像素平面是由所述视频数据确定的，所述全景图对应于目标路侧感知

　　[0068]单路融合感知模块，用于基于所述投影平面和所述图像像素平面，将时空对齐后

　　的激光雷达数据、毫米波雷达数据和视频数据进行单路融合，得到若干路第一融合感知数

　　[0069]组分析模块，用于将若干路所述第一融合感知数据进行分组，根据分组结果对所

　　[0071]第一，能够将激光雷达、毫米波雷达、视频摄像机三种传感器数据进行精准融合，

　　从而充分利用不同传感器的优势，例如激光雷达近距离探测到的精准的3D轮廓，毫米波雷

　　达远距离探测到的位置信息，摄像机数据携带有的外观特征(纹理、颜色等)，进而极大地提

　　[0072]第二，基于双平面的融合感知，充分考虑非图像像素平面感知范围外的交通参与

　　者情况，同时减少了视频摄像机感知的交通参与者转换到投影平面时，因2D转3D而造成的

　　误差，从而提高交通参与者的匹配准确性；另外，充分利用不同平面的优势，例如在图像像

　　素平面上充分利用细节特征进行分类、在投影平面上充分利用全局信息进行运动信息提

　　[0073]第三，提出了基于组分析的多路传感器融合感知框架，并设计了基于多维id匹配

　　方法，使得多路传感器融合感知结果合并形成全局信息，为全路段的交通参与者流量统计、

　　[0074]图1是本发明提供的一种基于雷视融合的路侧感知方法的一个实施例的流程示意

　　[0075]图2是本发明提供的一种基于雷视融合的路侧感知系统的一个实施例的结构示意

　　[0076]图3是本发明提供的基于雷视融合的路侧感知方法的一个实施例的示意图；

　　[0083]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完

　　整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于

　　本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他

　　[0084]在本申请描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为

　　指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第

　　二”、“第三”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述

　　[0085]在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相

　　连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可

　　以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是

　　两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本

　　[0086]在本申请的描述中，需要说明的是，除非另有定义，本发明所使用的所有的技术和

　　科学术语与属于本技术领域的技术人员通常理解的含义相同。本发明中说明书中所使用的

　　术语只是为了描述具体的实施例的目的，不是旨在于限制本发明，对于本领域的普通技术

　　[0087]需要说明的是，本公开示例性地将激光雷达数据、毫米波雷达数据和视频数据称

　　为LRC数据，其中，L代表激光雷达数据、R代表毫米波雷达数据、C代表视频数据，为便于描

　　[0088]参见图1，是本发明提供的基于雷视融合的路侧感知方法的一个实施例的流程示

　　[0089]S1,获取传感器数据；其中，所述传感器数据包括激光雷达数据、毫米波雷达数据

　　[0090]S2,基于投影平面和图像像素平面，对所述激光雷达数据、所述毫米波雷达数据和

　　所述视频数据进行时空对齐；其中，所述投影平面是根据预先构建的全景图生成的，所述图

　　[0091]S3,基于所述投影平面和所述图像像素平面，将时空对齐后的激光雷达数据、毫米

　　波雷达数据和视频数据进行单路融合，得到若干路第一融合感知数据；其中，每一所述第一

　　[0092]S4,将若干路所述第一融合感知数据进行分组，根据分组结果对所述第一融合感

　　[0093]需要说明的是，参见图4，所述全景图是基于扫描图、地图和所述目标路侧感知范

　　围构建得到的，所述扫描图为通过激光雷达对所述目标路侧感知范围进行扫描后得到的；

　　[0094]作为上述方案的改进，所述激光雷达数据包括多个激光雷达中的每一个的第一单

　　激光雷达数据，所述毫米波雷达数据包括多个毫米波雷达中的每一个的第一单毫米波雷达

　　[0095]所述多个激光雷达、所述多个毫米波雷达与所述多个摄像机按照预设的匹配关系

　　组成若干路雷视组合，每一路雷视组合是由一激光雷达、一毫米波雷达与一摄像机组成，则

　　[0096]所述图像像素平面包括与所述多个摄像机所拍摄到的多张第一视频帧图像一一

　　[0097]则，所述基于投影平面和图像像素平面，对所述激光雷达数据、所述毫米波雷达数

　　[0098]基于所述投影平面，分别对各所述第一单激光雷达数据进行第一时空对齐处理，

　　[0099]基于所述投影平面，分别对各所述第一单毫米波雷达数据进行第二时空对齐处

　　[0100]基于每一所述雷视组合、每一所述单图像像素平面和所述投影平面，对每一所述

　　第二单激光雷达数据、每一所述第二单毫米波雷达数据和每一所述第一视频帧图像进行第

　　[0101]作为上述方案的改进，所述基于所述投影平面，分别对各所述第一单激光雷达数

　　[0103]分别对空间对齐后的各所述第一单激光雷达数据进行网络时间协议校准；

　　[0104]对校准后的多个所述第一单激光雷达数据进行时间偏差调优，以获取多个第二单

　　[0105]所述基于所述投影平面，分别对各所述第一单毫米波雷达数据进行第二时空对齐

　　[0106]分别将辅助激光雷达数据以及各所述第一单毫米波雷达数据，与所述投影平面进

　　[0107]分别对空间对齐后的所述辅助激光雷达数据以及各所述第一单毫米波雷达数据，

　　[0108]基于校准后的所述辅助激光雷达数据，对校准后的每一所述第一单毫米波雷达数

　　[0109]所述基于每一所述雷视组合、每一所述单图像像素平面和所述投影平面，对每一

　　所述第二单激光雷达数据、每一所述第二单毫米波雷达数据和每一所述第一视频帧图像进

　　[0111]基于所述单图像像素平面和所述投影平面，将所述第二单激光雷达数据与所述第

　　一视频帧图像进行空间对齐，以及，将所述第二单毫米波雷达数据与所述第一视频帧图像

　　[0112]对空间对齐后的所述第二单激光雷达数据、所述第二单毫米波雷达数据和所述第

　　一视频帧图像进行网络时间协议校准及时间偏差调优，以获取这一所述雷视组合对应的单

　　[0113]具体的，参见图5‑图7，其中，NTP校准为网络时间协议校准；单路LRC时空对齐，即

　　对一路雷视组合内的传感器所感知到的数据进行时空对齐；LC空间对齐即对激光雷达、摄

　　像机的数据进行空间对齐；RC空间对齐即对毫米波雷达、摄像机的数据进行空间对齐。

　　[0114]本实施例中，通过预先配置的匹配规则将激光雷达、毫米波雷达、摄像机一一对应

　　匹配，从而形成一路雷视组合，在每一路雷视组合内将对应的多个传感器的数据进行时空

　　对齐，特别地，先对激光雷达和毫米波雷达的数据进行初步对齐，再对激光雷达、毫米波雷

　　达、摄像机进行二次对齐，从而能够形成多维度的时空对齐，提高各传感器数据的时空一致

　　[0115]作为上述方案的改进，每一所述雷视组合对应的单路雷视数据包括第三单激光雷

　　[0116]则，所述基于所述投影平面和所述图像像素平面，将时空对齐后的激光雷达数据、

　　毫米波雷达数据和视频数据进行单路融合，得到若干路第一融合感知数据，包括：

　　[0117]针对每一所述雷视组合对应的单路雷视数据，执行如下步骤以获取这一所述雷视

　　[0118]将所述第三单激光雷达数据和所述第三单毫米波雷达数据，均转换到所述第二视

　　频帧图像所在的单图像像素平面，得到携带有雷达数据的第三视频帧图像；对所述第三视

　　频帧图像进行检测，得到若干第一交通参与者位置信息；对通过时序分析进行校准后的所

　　述若干第一交通参与者位置信息，进行相关性计算，得到第一距离矩阵；对所述第一距离矩

　　阵进行匈牙利匹配得到图像平面匹配信息；其中，所述相关性计算包括位置相关性计算及

　　[0119]将所述第三单激光雷达数据、所述第三单毫米波雷达数据和所述第二视频帧图

　　像，均转换到所述投影平面，并对转换到所述投影平面后得到的数据通过时序分析进行校

　　准，得到投影数据；对所述投影数据进行所述相关性计算，得到第二距离矩阵；对所述第二

　　距离矩阵进行匈牙利匹配得到投影平面匹配信息；其中，所述投影数据携带有若干第二交

　　[0120]对所述图像平面匹配信息和所述投影平面匹配信息进行加权计算，得到最终匹配

　　[0121]基于所述最终匹配信息、所述单图像像素平面和所述投影平面，计算获取若干轨

　　迹队列成员信息；其中，所述若干轨迹队列成员信息组成所述第一融合感知数据。

　　[0122]示例性的，每一所述雷视组合对应的单路雷视数据按照10Hz的频率进行输入。

　　[0123]需要说明的是，轨迹队列成员信息携带有队列成员的类型、速度、加速度、航向角

　　[0124]作为上述方案的改进，所述基于所述最终匹配信息、所述单图像像素平面和所述

　　[0125]在所述单图像像素平面上，以校准后的所述若干第一交通参与者位置信息作为第

　　一历史队列成员信息，根据所述最终匹配信息对所述第一历史队列成员信息进行所述相关

　　[0126]在所述投影平面上，以校准后的所述若干第二交通参与者位置信息作为第二历史

　　队列成员信息，根据所述最终匹配信息对所述第二历史队列成员信息进行所述相关性计

　　[0127]基于所述第三距离矩阵和所述第四距离矩阵，进行轨迹配准得到轨迹配准结果；

　　[0128]根据所述轨迹配准结果分别对所述第一历史队列成员信息和所述第二历史队列

　　[0129]作为上述方案的改进，所述根据所述轨迹配准结果分别对所述第一历史队列成员

　　[0130]在所述单图像像素平面上，根据所述轨迹配准结果，对所述第一历史队列成员信

　　[0131]根据所述类型更新的结果，在所述投影平面上对所述第二历史队列成员信息中的

　　[0132]在所述投影平面上，根据所述轨迹配准结果，对所述第二历史队列成员信息中的

　　[0133]根据所述运动信息更新的结果，在所述单图像像素平面上对所述第一历史队列成

　　[0134]可以理解的是，参见图8，本实施例能够在图像像素平面当中精准计算队列成员的

　　类型，并在投影平面当中精准计算队列成员的速度、加速度、航向角，且在计算后将各自计

　　算得到的信息同步至另一个平面当中，以使两个平面上的队列成员的信息保持同步。

　　[0135]作为上述方案的改进，所述将若干路所述第一融合感知数据进行分组，根据分组

　　[0136]按照两路为一组的原则对若干路所述第一融合感知数据进行分组，得到N组数据

　　[0137]针对每一组数据组，通过多维id匹配将两路所述第一融合感知数据进行融合，得

　　[0138]以N组数据组所对应的N路第二融合感知数据作为新的若干路所述第一融合感知

　　[0139]作为上述方案的改进，所述针对每一组数据组，通过多维id匹配将两路所述第一

　　融合感知数据进行融合，得到一路对应于这一组数据组的第二融合感知数据，包括：

　　[0140]针对每一组数据组中的两路所述第一融合感知数据，执行如下步骤：

　　[0141]针对每一所述第一融合感知数据，确定其包含的若干所述交通参与者的多维度id

　　以及运动信息，以构建这一所述第一融合感知数据对应的信息集合；其中，所述多维度id包

　　[0142]基于两路所述第一融合感知数据所对应的两个所述信息集合S和S，计算位置偏

　　差矩阵、轨迹相似度矩阵和类型偏差矩阵，并对所述位置偏差矩阵、轨迹相似度矩阵和类型

　　[0143]对所述加权匹配矩阵进行匈牙利匹配，得到第一集合、第二集合和第三集合；其

　　中，所述第一集合为S和S匹配的集合，所述第二集合为S未匹配的集合，所述第三集合为

　　[0144]基于所述第一集合、所述第二集合和所述第三集合，对所述轨迹队列成员信息进

　　[0145]具体的，所述多维度id包括所述交通参与者的全局id(id)、激光雷达id(lid)、毫

　　attr}，其中，attr表示当前感知到的交通参与者的信息(位置、类型、速度、加速度、航向角

　　等)；得到信息集合S＝{tp,…,tp}，即表征多个交通参与者的信息的集合。

　　[0146]作为上述方案的改进，所述基于所述第一集合、所述第二集合和所述第三集合，对

　　所述轨迹队列成员信息进行更新，以形成一路对应于这一组数据组的第二融合感知数据，

　　[0148]基于所述第一集合和遍历得到的多维度id，确定对所述轨迹队列成员信息执行的

　　[0149]基于所述第二集合、所述第三集合和遍历得到的多维度id，确定对所述轨迹队列

　　[0150]所述第二更新策略包括：若在遍历得到的多维度id以及所述第一集合中查找到在

　　任一维度下id相同的所述交通参与者，则更新这一所述交通参与者的信息，否则新建这一

　　[0152]若在遍历得到的多维度id以及所述第一集合中查找不到在任一维度下id相同的

　　[0153]若在遍历得到的多维度id以及所述第一集合中查找到id相同的所述交通参与者，

　　[0154]若在遍历得到的多维度id以及所述第一集合中查找到在多个维度下i

　　少两个所述交通参与者，计算至少两个所述交通参与者的相似度，当所述相似度大于等于

　　[0156]参见图2，是本发明提供的基于雷视融合的路侧感知系统的一个实施例的结构示

　　[0157]数据获取模块，用于获取传感器数据；其中，所述传感器数据包括激光雷达数据、

　　[0158]时空对齐模块，用于基于投影平面和图像像素平面，对所述激光雷达数据、所述毫

　　米波雷达数据和所述视频数据进行时空对齐；其中，所述投影平面是根据预先构建的全景

　　图生成的，所述图像像素平面是由所述视频数据确定的，所述全景图对应于目标路侧感知

　　[0159]单路融合感知模块，用于基于所述投影平面和所述图像像素平面，将时空对齐后

　　的激光雷达数据、毫米波雷达数据和视频数据进行单路融合，得到若干路第一融合感知数

　　[0160]组分析模块，用于将若干路所述第一融合感知数据进行分组，根据分组结果对所

　　[0161]相应地，本发明实施例所提供的基于雷视融合的路侧感知系统，能够实现上述实

　　[0163]第一，能够将激光雷达、毫米波雷达、视频摄像机三种传感器数据进行精准融合，

　　从而充分利用不同传感器的优势，例如激光雷达近距离探测到的精准的3D轮廓，毫米波雷

　　达远距离探测到的位置信息，摄像机数据携带有的外观特征(纹理、颜色等)，进而极大地提

　　[0164]第二，基于双平面的融合感知，充分考虑非图像像素平面感知范围外的交通参与

　　者情况，同时减少了视频摄像机感知的交通参与者转换到投影平面时，因2D转3D而造成的

　　误差，从而提高交通参与者的匹配准确性；另外，充分利用不同平面的优势，例如在图像像

　　素平面上充分利用细节特征进行分类、在投影平面上充分利用全局信息进行运动信息提

　　[0165]第三，提出了基于组分析的多路传感器融合感知框架，并设计了基于多维id匹配

　　方法，使得多路传感器融合感知结果合并形成全局信息，为全路段的交通参与者流量统计、

　　[0166]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助

　　软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，

　　本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，

　　该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使

　　得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例

　　[0167]以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员

　　来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为

　　2、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问加。

　　3、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。

　　4、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

　　2026广东东莞市商业学校招募银龄教师6人（第二批）考试参考题库及答案解析.docx

　　2026西咸新区空港新城花园小学就业见习招聘（7人）考试模拟试题及答案解析.docx

　　2026河北保定曲阳县公开选聘高中教师20名考试模拟试题及答案解析.docx

　　2026江苏南京大学XZ2026-125医学院技术管理招聘考试参考题库及答案解析.docx

　　广西壮族自治区来宾市2025-2026学年八年级下学期7月期末语文试题.pdf

　　2026广东湛江市廉江市第八批兜底安置类公益性岗位招聘2人考试模拟试题及答案解析.docx

　　2026年广东省揭阳市自然资源系统人员招聘考试模拟试题及答案解析.docx

　　2026安徽九华山旅游发展股份有限公司招聘82人考试参考题库及答案解析.docx

　　广西壮族自治区来宾市2025-2026学年七年级下学期7月期末语文试题.pdf

　　原创力文档创建于2008年，本站为文档C2C交易模式，即用户上传的文档直接分享给其他用户（可下载、阅读），本站只是中间服务平台，本站所有文档下载所得的收益归上传人所有。原创力文档是网络服务平台方，若您的权利被侵害，请发链接和相关诉求至 电线) ，上传者

上一篇: 雷视一体机：打造交通安全新防线
上一篇: 活力中国调研行）粤企发力AI消费级硬件“黑科技”加速融入生活场景