0769-87921175
dglc17@126.com
本发明公开了一种路侧感知系统的雷达与视觉目标匹配融合方法，包括以下步骤：步骤S1，将视觉检测结果和雷达检测结果进行时间以及空间对齐，步骤S2，判断目标是否在高置信度区域内；步骤S3，判断视觉检测结果和雷达检测结果是否已匹配。本发明通过将不同传感器的共同感知区域划分为高置信度区域和低置信度区域，然后在高置信度区域进行不同传感器的检测结果匹配并在匹配结束(离开高置信度区域)后一直保持关联，从而达到高精度，高稳定性的雷视融合效果。本发明中的方法，与现有技术中的数据层融合和特征层融合算法相比，具有复杂度
(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 117148355 A (43)申请公布日 2023.12.01 (21)申请号 3.7 G01S 13/86 (2006.01) (22)申请日 2023.08.31 (71)申请人 四川天府新区北理工创新装备研究 院 地址 610000 四川省成都市天府新区集萃 街619号天府海创园2号地块2号楼13 至14层 (72)发明人 肖育豪刘维维封钦柱司宇 (74)专利代理机构 成都嘉企源知识产权代理有 限公司 51246 专利代理师 何朝友 (51)Int.Cl. G01S 13/92 (2006.01) G06F 18/25 (2023.01) G08G 1/01 (2006.01) 权利要求书2页 说明书7页 附图2页 (54)发明名称 一种路侧感知系统的雷达与视觉目标匹配 融合方法 (57)摘要 本发明公开了一种路侧感知系统的雷达与 视觉目标匹配融合方法，包括以下步骤：步骤S1， 将视觉检测结果和雷达检测结果进行时间以及 空间对齐，步骤S2，判断目标是否在高置信度区 域内；步骤S3，判断视觉检测结果和雷达检测结 果是否已匹配。本发明通过将不同传感器的共同 感知区域划分为高置信度区域和低置信度区域， 然后在高置信度区域进行不同传感器的检测结 果匹配并在匹配结束(离开高置信度区域)后一 直保持关联，从而达到高精度，高稳定性的雷视 融合效果。本发明中的方法，与现有技术中的数 A 据层融合和特征层融合算法相比，具有复杂度 5 低，效率更高的优点。并且，本发明中的方法，是 5 3 8 基于高置信度区域进行匹配融合，精度和稳定性 4 1 7 更好。 1 1 N C CN 117148355 A 权利要求书 1/2页 1.一种路侧感知系统的雷达与视觉目标匹配融合方法，其特征在于：包括以下步骤： 步骤S1，将视觉检测结果和雷达检测结果进行时间以及空间对齐，使得不同传感器的 检测结果时间同步； 步骤S2，判断目标是否在高置信度区域内，如果是，则视觉检测结果和雷达检测结果进 行匹配，如果不是，则继续下一步判断； 步骤S3，判断视觉检测结果和雷达检测结果是否已匹配，如果是，则视觉检测结果和雷 达检测结果融合；如果不是，则直接结束。 2.根据权利要求1所述的一种路侧感知系统的雷达与视觉目标匹配融合方法，其特征 在于：步骤S2中，视觉检测用于检测目标的检测框位置， 分别代表检测框左上角 的像素坐标和右下角的像素坐标； 雷达检测用于得到目标的经纬度坐标 [lon,lat]，通过坐标系转换矩阵 TransformMatrix变换为像素坐标 转换公式如下： 其中，坐标系转换矩阵TransformMatrix通过对雷达和相机进行联合标定得出；具体 地，采集若干组像素‑经纬度匹配对，然后通过几何变换拟合得出坐标系转换矩阵。 3.根据权利要求2所述的一种路侧感知系统的雷达与视觉目标匹配融合方法，其特征 在于：几何变换拟合得出坐标系转换矩阵具体为： 对于任意一个采集的经纬度坐标[lon,lat]，使用一个2*2矩阵来变换到另一个向量空 间，即像素坐标 通过采集像素‑经纬度匹配对，计算出两个坐标系的转换矩阵，如下 式所示： 将矩阵形式写成表达式形式，如下式所示： 其中，a,b,c,d是TransformMatrix需要求得的4个矩阵值，4组像素‑经纬度匹配对即可 求出所有的值。采用更多的像素‑经纬度匹配对可以与真实的转换矩阵更加接近。这样就可 以求得坐标系转换矩阵。 4.根据权利要求2所述的一种路侧感知系统的雷达与视觉目标匹配融合方法，其特征 在于：根据步骤S2中检测得到的像素坐标，计算视觉检测框的中心像素坐标： 2 2 CN 117148355 A 权利要求书 2/2页 式中，l为检测框左上角x坐标，r 为检测框右下角x坐标，l为检测框左上角y坐标，r 为 x x y y 检测框右下角y坐标； 然后计算视觉检测框中心像素坐标与雷达像素坐标的欧式距离L，如下式所示： 式中，m 为检测框中心x坐标，m 为检测框中心y坐标，o 为雷达检测像素x坐标，o 为雷达 x y x y 检测像素y坐标。 5.根据权利要求4所述的一种路侧感知系统的雷达与视觉目标匹配融合方法，其特征 在于：将当前时间的所有视觉检测结果和雷达检测结果分别计算距离，得到距离矩阵M，如 下式所示： 其中， 表示第i个视觉检测结果与第j个雷达检测结果的欧式距离L。 6.根据权利要求1所述的一种路侧感知系统的雷达与视觉目标匹配融合方法，其特征 在于：将其最邻近的雷达检测结果进行匹配，即第i个视觉检测结果与第j个雷达检测结果 匹配当以下条件满足： 当视觉检测结果和雷达检测结果匹配上后，将两者信息进行融合。 3 3 CN 117148355 A 说明书 1/7页 一种路侧感知系统的雷达与视觉目标匹配融合方法 技术领域 [0001] 本发明属于智能交通技术领域，具体为一种路侧感知系统的雷达与视觉目标匹配 融合方法。 背景技术 [0002] 路侧感知就是利用摄像机、毫米波雷达、激光雷达等传感器，并结合路侧边缘计 算，其最终目的是实现对该路段的交通参与者、路况等的瞬时智能感知。目前，在融合体系 的数据源部分，常用到的传感器有摄像头、毫米波雷达和激光雷达。摄像头能够检测交通参 与者类型(比如行人、车辆、骑行者)等信息，但是其受天气、光照强度的影响较大；毫米波雷 达能够准确地检测目标的位置、速度等信息并且不会受天气状态的干扰，但是其容易漏检 静止的目标，而且检测的目标噪点较多；激光雷达能够准确检测出静止和运动目标的位置、 速度以及目标物的尺寸等信息，但是其环境敏感度高，易受大雪、灰尘影响。通过将多种传 感器的数据融合能够结合不同传感器的优点，起到扬长避短的效果。 [0003] 雷达和视觉的融合策略可以分为三类：数据层融合，特征层融合，以及决策层融 合。数据层融合的核心思想是由一种传感器数据生成目标物体的候选区域(术语称作 proposal)，然后在另外一种传感器数据上进行验证。这也就相当于融合了一种传感器的决 策(proposal)和另外一种传感器的数据。与数据层融合相比，特征层的融合更加底层一些， 也更有利于神经网络也学习不同传感器之间的互补性，但是算法设计的复杂程度也相对较 高。一般的做法是将点云数据映射到图像坐标系下，形成一个类似于相机图像的“点云图 像”。点云图像和相机图像处于相同的坐标系下，因此可以很容易的通过神经网络进行融 合。决策层的融合其实就是分别处理雷达和图像数据，将两种数据中得到的检测结果进行 融合。在这个过程中，将来自不同传感器的结果进行匹配是非常关键的步骤。传统的方法一 般直接通过物体检测的输出(比如类别，位置，大小等)来计算相似度，并进行匹配。 [0004] 智能网联汽车经过近年来的大力发展，目前已经可以实现特定场景和低速状态下 的无人驾驶。对于实现全场景高速无人驾驶，目前还没有一个完善的解决方案。为了弥补单 车智能的感知不足，提高智能车的感知范围，以及提升交通管控的感知手段，业内专家提出 了车路协同的概念。 [0005] 车路协同，即智能车通过无线通信的方式，与路侧人、车、路、网互联通信，提升自 车的感知范围和感知手段。通常，在车路协同的路侧端，一般会架设路侧感知系统。系统由 多种感知传感器组成，如图像传感器、毫米波雷达传感器、激光雷达传感器等，通过多传感 器融合感知的方式，获取道路上目标的位置、速度、航向角、类型等目标特征数据。目前，将 不同传感器感知到的目标进行匹配融合存在精度不高，稳定性差的问题。 发明内容 [0006] 本发明的目的在于提供一种路侧感知系统的雷达与视觉目标匹配融合方法，以解 决背景技术中提出的现有技术中，存在数据层融合和特征层融合算法设计复杂度高、效率 4 4 CN 117148355 A 说明书 2/7页 较低以及现有的决策层融合是基于全局匹配融合，精度和稳定性较差的问题。 [0007] 为解决上述技术问题，本发明所采用的技术方案是： [0008] 一种路侧感知系统的雷达与视觉目标匹配融合方法，包括以下步骤： [0009] 步骤S1，将视觉检测结果和雷达检测结果进行时间以及空间对齐，使得不同传感 器的检测结果时间同步； [0010] 步骤S2，判断目标是否在高置信度区域内，如果是，则视觉检测结果和雷达检测结 果进行匹配，如果不是，则继续下一步判断； [0011] 步骤S3，判断视觉检测结果和雷达检测结果是否已匹配，如果是，则视觉检测结果 和雷达检测结果融合；如果不是，则直接结束。 [0012] 根据上述技术方案，步骤S2中，视觉检测用于检测目标的检测框位置， 分别代表检测框左上角的像素坐标和右下角的像素坐标； [0013] 雷达检测用于得到目标的经纬度坐标[lon,lat]，通过坐标系转换矩阵 TransformMatrix变换为像素坐标 转换公式如下： [0014] [0015] 其中，坐标系转换矩阵TransformMatrix通过对雷达和相机进行联合标定得出；具 体地，采集若干组像素‑经纬度匹配对，然后通过几何变换拟合得出坐标系转换矩阵。 [0016] 根据上述技术方案，几何变换拟合得出坐标系转换矩阵具体为： [0017] 对于任意一个采集的经纬度坐标[lon,lat]，使用一个2*2矩阵来变换到另一个向 量空间，即像素坐标 通过采集像素‑经纬度匹配对，计算出两个坐标系的转换矩阵， 如下式所示： [0018] [0019] 将矩阵形式写成表达式形式，如下式所示： [0020] [0021] [0022] 其中，a,b,c,d是TransformMatrix需要求得的4个矩阵值，4组像素‑经纬度匹配对 即可求出所有的值。采用更多的像素‑经纬度匹配对可以与真实的转换矩阵更加接近。这样 就可以求得坐标系转换矩阵。 [0023] 根据上述技术方案，根据步骤S2中检测得到的像素坐标，计算视觉检测框的中心 像素坐标： 5 5 CN 117148355 A 说明书 3/7页 [0024] [0025] [0026] 式中，l 为检测框左上角x坐标，r 为检测框右下角x坐标，l 为检测框左上角y坐 x x y 标，r 为检测框右下角y坐标； y [0027] 然后计算视觉检测框中心像素坐标与雷达像素坐标的欧式距离L，如下式所示： [0028] [0029] 式中，m 为检测框中心x坐标，m 为检测框中心y坐标，o 为雷达检测像素x坐标，o x y x y 为雷达检测像素y坐标。 [0030] 根据上述技术方案，将当前时间的所有视觉检测结果和雷达检测结果分别计算距 离，得到距离矩阵M，如下式所示： [0031] [0032] 其中， 表示第i个视觉检测结果与第j个雷达检测结果的欧式距离L。 [0033] 根据上述技术方案，将其最邻近的雷达检测结果进行匹配，即第i个视觉检测结果 与第j个雷达检测结果匹配当以下条件满足： [0034] [0035] 当视觉检测结果和雷达检测结果匹配上后，将两者信息进行融合。 [0036] 与现有技术相比，本发明具有以下有益效果： [0037] 本发明通过将不同传感器的共同感知区域划分为高置信度区域和低置信度区域， 然后在高置信度区域进行不同传感器的检测结果匹配并在匹配结束(离开高置信度区域) 后一直保持关联，从而达到高精度，高稳定性的雷视融合效果。 [0038] 本发明中的方法，与现有技术中的数据层融合和特征层融合算法相比，具有复杂 度低，效率更高的优点。并且，本发明中的方法，是基于高置信度区域进行匹配融合，精度和 稳定性更好。 附图说明 [0039] 图1为本发明的流程示意图； [0040] 图2为本发明的雷视融合效果图； [0041] 图3为相机视角下的高置信度区域可视化结果图。 具体实施方式 [0042] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 6 6 CN 117148355 A 说明书 4/7页 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。 [0043] 实施例一 [0044] 如图1所示，一种路侧感知系统的雷达与视觉目标匹配融合方法，包括以下步骤： [0045] 步骤S1，将视觉检测结果和雷达检测结果进行时间以及空间对齐，使得不同传感 器的检测结果时间同步； [0046] 步骤S2，判断目标是否在高置信度区域内，如果是，则视觉检测结果和雷达检测结 果进行匹配，如果不是，则继续下一步判断； [0047] 步骤S3，判断视觉检测结果和雷达检测结果是否已匹配，如果是，则视觉检测结果 和雷达检测结果融合；如果不是，则直接结束。 [0048] 本发明通过将不同传感器的共同感知区域划分为高置信度区域和低置信度区域， 然后在高置信度区域进行不同传感器的检测结果匹配并在匹配结束(离开高置信度区域) 后一直保持关联，从而达到高精度，高稳定性的雷视融合效果。 [0049] 本发明中的方法，与现有技术中的数据层融合和特征层融合算法相比，具有复杂 度低，效率更高的优点。并且，本发明中的方法，是基于高置信度区域进行匹配融合，精度和 稳定性更好。 [0050] 实施例二 [0051] 本实施例为实施例一的进一步细化。 [0052] 步骤S2中，视觉检测用于检测目标的检测框位置， 分别代表检测框左上 角的像素坐标和右下角的像素坐标； [0053] 雷达检测用于得到目标的经纬度坐标[lon,lat]，通过坐标系转换矩阵 TransformMatrix变换为像素坐标 转换公式如下： [0054] [0055] 其中，坐标系转换矩阵TransformMatrix通过对雷达和相机进行联合标定得出；具 体地，采集十组(及以上)像素‑经纬度匹配对，然后通过几何变换拟合得出坐标系转换矩 阵。对于任意一个采集的经纬度坐标[lon,lat]，可以使用一个2*2矩阵来变换到另一个向 量空间，即像素坐标 通过采集像素‑经纬度匹配对，可以计算出两个坐标系的转换 矩阵，如下式所示： [0056] [0057] 将矩阵形式写成表达式形式，如下式所示： [0058] 7 7 CN 117148355 A 说明书 5/7页 [0059] [0060] 其中，a,b,c,d是TransformMatrix需要求得的4个矩阵值，4组像素‑经纬度匹配对 即可求出所有的值。采用更多的像素‑经纬度匹配对可以与真实的转换矩阵更加接近。这样 就可以求得坐标系转换矩阵。 [0061] 根据步骤S2中检测得到的像素坐标，计算视觉检测框的中心像素坐标： [0062] [0063] [0064] 式中，l 为检测框左上角x坐标，r 为检测框右下角x坐标，l 为检测框左上角y坐 x x y 标，r 为检测框右下角y坐标； y [0065] 然后计算视觉检测框中心像素坐标与雷达像素坐标的欧式距离L，如下式所示： [0066] [0067] 式中，m 为检测框中心x坐标，m 为检测框中心y坐标，o 为雷达检测像素x坐标，o x y x y 为雷达检测像素y坐标。 [0068] 将当前时间的所有视觉检测结果和雷达检测结果分别计算距离，得到距离矩阵M， 如下式所示： [0069] [0070] 其中， 表示第i个视觉检测结果与第j个雷达检测结果的欧式距离L。 [0071] 将其最邻近的雷达检测结果进行匹配，即第i个视觉检测结果与第j个雷达检测结 果匹配当以下条件满足： [0072] [0073] 当视觉检测结果和雷达检测结果匹配上后，将两者信息进行融合。 [0074] 实施例三 [0075] 本发明的发明构思为： [0076] 本发明技术方案是决策层融合方案，通过将不同传感器的共同感知区域划分为高 置信度区域和低置信度区域，然后在高置信度区域进行不同传感器的检测结果匹配并在匹 配结束(离开高置信度区域)后一直保持关联，从而达到高精度，高稳定性的雷视融合效果。 [0077] 本发明中的方案设定高置信度区域为传感器的近场区域。如图3所示，高置信度区 域在图像传感器视角下为多边形框住部分，其他感知区域为低置信度区域，这样设计的原 因是由于在近处的目标检测准确率会显著高于远处目标。 [0078] 如图1所示，是本发明技术方案的算法流程图。首先将视觉检测结果和雷达检测结 8 8 CN 117148355 A 说明书 6/7页 果进行时间对齐，保证不同传感器检测结果是时间同步的。在本发明中，空间同步是将雷达 坐标系映射到图像坐标系。然后判断目标是否在高置信度区域中，若是则进行多传感器检 测结果匹配，在本发明中，采用的是最近邻法。具体地，视觉检测可以得到目标的检测框位 置， 分别代表检测框左上角的像素坐标和右下角的像素坐标。雷达检测可以得 到目标的经纬度坐标，这里通过坐标系转换矩阵变换为像素坐标 [0079] 之后，首先计算视觉检测框的中心像素坐标： [0080] [0081] [0082] 然后计算视觉检测框中心像素坐标与雷达像素坐标的欧式距离L，如下式所示： [0083] [0084] 将当前时间的所有视觉检测结果和雷达检测结果分别计算距离，得到距离矩阵M， 如下式所示： [0085] [0086] 其中， 表示第i个视觉检测结果与第j个雷达检测结果的欧式距离。因为雷达检 测结果往往远多于视觉检测结果，本发明以视觉检测结果为准，将其最邻近的雷达检测结 果进行匹配，即第i个视觉检测结果与第j个雷达检测结果匹配当以下条件满足： [0087] [0088] 当视觉检测结果和雷达检测结果匹配上后，就可以将两者信息进行融合，如图2所 示，为本发明雷视融合效果示意图。其中目标的位置可以综合多个传感器的结果进行预测， 此外，不同传感器可以提供互补的信息，例如相机可以提供目标的外观信息，激光雷达可以 提供目标的长宽高信息，毫米波雷达可以提供目标的速度信息，融合后的目标结果可以为 车路协同提供更全面的描述，为无人驾驶决策带来更多帮助。 [0089] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实 体或者操作与另一个实体或操作区分开，而不一定要求或者暗示这些实体或操作之间存在 任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非 排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素， 而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固 有的要素。 [0090] 最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明， 尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可 以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。 9 9 CN 117148355 A 说明书 7/7页 凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的 保护范围之内。 10 10 CN 117148355 A 说明书附图 1/2页 图1 11 11 CN 117148355 A 说明书附图 2/2页 图2 图3 12 12
2、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问加。
3、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
4、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
山西省建筑标准设计图集12J6 12系列建筑标准设计图集 外装修.pdf
山西省图集 12J14 建筑变形缝 DBJT04-35-20 12.docx
Haier海尔180升嵌入式光波巴氏消毒柜 ZQD180F-EB200说明书用户手册.pdf
T∕CECS 1239-2023 混凝土抑温抗裂防水剂应用技术规程.pdf
原创力文档创建于2008年，本站为文档C2C交易模式，即用户上传的文档直接分享给其他用户（可下载、阅读），本站只是中间服务平台，本站所有文档下载所得的收益归上传人所有。原创力文档是网络服务平台方，若您的权利被侵害，请发链接和相关诉求至 电线) ，上传者
下一篇: 没有了
