0769-87921175
dglc17@126.com
1、在智能交通系统中，传感器数据融合技术是提高环境感知精度和鲁棒性的关键。毫米波雷达和相机作为两种主要的传感器，各自具有独特的优势，但也存在一定的局限性。因此，将毫米波雷达和相机数据进行融合，以弥补单一传感器的不足，成为当前研究的热点。现有技术的目的主要在于通过毫米波雷达和相机的数据融合，实现更精准、更全面的环境感知。毫米波雷达能够提供准确的距离、速度和角度信息，且受天气影响较小；而相机则能够捕捉丰富的颜色和纹理信息，有助于目标识别和分类。通过数据融合，旨在结合两者的优势，提升路侧感知系统的整体性能。
2、现有的路侧感知系统主要包含三种类型：单一的相机系统、单一的毫米波雷达系统和基于毫米波雷达和相机融合的融合系统。单一的相机系统虽然对道路目标的纹理特征具有很强的感知能力，但却无法精准地测量道路目标的距离、速度和角度信息，同时无法在夜间及恶劣天气环境下保持较高的感知精度；单一的毫米波雷达系统虽然能对运动目标的距离、速度和角度信息有较强的测量精度，但却对静止目标无感，对行人和非机动车也无法精确检测，而这些是高速公路时常关注的异常事件。
3、现有的基于毫米波雷达和相机融合的系统往往只考虑了单个毫米波雷达和单个监控相机的融合，无法满足实际场景的需求。毫米波雷达的作用距离可达到500m,而一个监控相机的作用距离无法完全覆盖到500m，进而无法实现全程事件的检测。同时在高速公路上，监控相机的安装位置较高，无法有效实现车牌识别，需要进一步融合卡口相机，而目前的研究中，还未出现融合毫米波雷达、多监控相机以及卡口相机的路侧感知系统。另外，现有的融合系统往往未考虑传感器出现故障时系统失效的情况，系统的稳定性较差；并且因着视频拉流出现延迟以及故障往往无法准确实现不同传感器的时间同步；因着标定矩阵的误差导致前融合以及基于3d目标检测的
4、匹配精度不高；同时现有的融合系统未形成轨迹、车流量统计和异常事件检测等直接跟交通管理和道路安全有关的路侧应用。
14、第二，未出现融合毫米波雷达、多监控相机以及卡口相机的路侧感知系统；
18、第六，未形成道路目标轨迹、车流量统计和异常事件检测等直接跟交通管理和道路安全有关的路侧应用。
1、本发明所要解决的技术问题是针对现有技术的不足，提供一种基于雷视融合的路侧感知方法。
2、为解决上述技术问题，本发明的一种基于雷视融合的路侧感知方法，包括如下步骤：
10、作为一种可能的实施方式，进一步的，所述根据当前传感器状态，选择主传感器步骤具体包括：
14、默认设置毫米波雷达为主传感器，其次为长短焦监控相机，卡口相机不设置为主传感器，且只有主传感器帧才能触发融合和上报功能。
15、作为一种可能的实施方式，进一步的，所述利用ntp服务器对雷视设备的时间戳进行同步步骤具体包括：
18、若参与融合的传感器数据帧在融合时间间隔内出现多帧，选择最靠近融合时间的帧作为融合数据帧；
19、采用运动信息预测，消除因抖动、拉流造成的时间戳误差，并弥补空间误差；补偿的距离sc为：sc＝v(tf-ts)
20、其中，v为预测速度，tf为主传感器融合时间戳，ts为传感器帧时间戳。
21、作为一种可能的实施方式，进一步的，所述利用坐标系转换对雷视设备进行空间同步步骤具体包括：
22、对毫米波雷达输出的点云进行聚类和卡尔曼滤波处理获得道路运动目标的属性信息r(idr,vx,vy,rx,ry,lon,lat,lane_id,typer)，其中idr,vx,vy,rx,ry,lon,lat,lane_idr,typer分别表示道路运动目标的id、横向速度、纵向速度、横向距离、纵向距离、经度、纬度、车道号、目标类型；
23、采用基于yolox的图像目标检测方法实现图像目标的类型、置信度和检测框精确定，同时基于bytetrack算法实现图像目标的高精度跟踪，获取道路目标的属性信息c(idc,typec,fcore,left,top,right,bottom)，其中idc,typec,fcore,left,top,right,bottom分别表示图像目标的id、类型、置信度、检测框的左、上、右、下坐标；
25、基于毫米波雷达与相机的联合标定矩阵mrc将毫米波雷达坐标系的距离坐标(rx,ry)转换为图像坐标系的像素坐标(iu,iv)，
28、基于相机内参矩阵mc将图像坐标系的像素坐标(ip,iq)转换为相机坐标系的距离坐标(cx,cy)，
31、作为一种可能的实施方式，进一步的，所述将雷达与相机进行匹配融合步骤具体包括：
32、划分监控长焦相机和短焦相机的作用区域，在各自作用区域内进行匹配融合；
33、将图像检测框进行预处理，对于图像边缘的不完全检测进行过滤，将检测框扩大1.4倍；
34、分别沿图像u、v轴进行毫米波雷达在图像上的映射坐标与图像检测坐标的相似度计算su，sv：
37、对于毫米波雷达和相机的共同作用区域，为防止车密度较大时出现的错误匹配情况，增加位置相似度计算sloc：
42、采用匈牙利匹配算法对匹配融合的相似度矩阵smatch进行处理，得到毫米波雷达和相机的匹配融合结果；
43、关于毫米波雷达和卡口相机的融合，通过车道号与匹配距离进行确定，约束条件如下：
46、作为一种可能的实施方式，进一步的，所述对道路目标车辆的轨迹进行更新步骤具体包括：
49、作为一种可能的实施方式，进一步的，所述按车道和车类型分类对车流量进行统计步骤具体包括：
50、间隔设置两条车流量绊线，对统计时间内穿过两条绊线的予以计数，按车道与车辆类型进行车流量统计。
51、作为一种可能的实施方式，进一步的，所述对异常事件进行检测与上报步骤具体包括：
60、雷视传感器模块，具体包括毫米波雷达、长焦相机、短焦相机和卡口相机；
68、采用本发明，可实现400m全程范围内道路目标速度、距离、经纬度、类型、id、车道号和车牌号轨迹信息的实时更新、分车道分类型车流量实时统计以及高速、低速、逆行、违停、拥堵、行人闯入、非机动车闯入等异常事件的实时上报；在主传感器出现故障时系统依旧稳定运行，增强了系统的稳定性；可实现传感器间出现400ms误差范围内的准确校正；可实现实现高精度的匹配融合。
上一篇: 6月29日起招股
