0769-87921175
dglc17@126.com
本发明针对传统路侧感知系统中雷达无法识别目标类型、视频难以精准获取运动参数的问题，提出雷视融合方案。通过激光雷达与视频数据的空间匹配，建立坐标系转换关系，融合目标的运动特征（速度、加速度）与视觉特征（轮廓分类），提升感知精度。结合预设阈值对比实现科学预警，解决了单一传感器局限性，增强了交通场景判断准确性。
1、路侧感知的目的是实现对该路段的交通参与者、路况等的瞬时智能感知，路侧感知能拓展驾驶车辆和驾驶员感知范围。
2、车辆在实现自动驾驶或辅助自动驾驶功能时，不仅需要自身的传感器获取周边信息，也依赖路侧感知系统提供更宏观、全面的交通场景数据作为补充和参考。雷达虽然可以准确测量目标的运动参数，但对于目标具体是什么类型，很难做到精准判断，因为雷达主要是基于反射信号的物理特性来分析，缺乏目标外观、形状等视觉特征信息。而从视频图像中准确获取目标的运动参数难度较大，且精度相对较低，较大误差。传统的单一传感器感知方式由于存在上述的局限性，很难全面、精准地捕捉这些异常行为并及时预警，无法满足日益增长的交通安全保障需求。
3、基于此，本发明提供了基于雷视融合的路侧感知控制系统及方法，以解决上述所提出的技术问题。
1、本发明的目的在于提供基于雷视融合的路侧感知控制系统及方法，通过综合激光雷达数据和视频数据，实现了对交通参与者更全面且精准的感知，同时，基于标定物的空间匹配，确定激光雷达坐标系与视觉坐标系之间的转换关系，使得不同传感器探测到的同一目标能在空间上准确对应起来，极大提高了整个路侧感知系统对交通状况判断的准确性，此外，当与预存储的控制阈值进行对比时，能更科学、合理地判断是否发出预警。
3、本发明的第一方面：提供了一种基于雷视融合的路侧感知控制系统，包括传感器单元、数据处理单元和预警控制单元，其中：
4、所述传感器单元用于获取目标的数据信息，所述数据信息包括激光雷达数据、视频数据和定位信息数据；
5、所述数据处理单元用于将激光雷达数据和视频数据在空间上匹配，基于激光雷达数据和视频数据，分别提取获得第一特征数据和第二特征数据，以及融合激光雷达与视觉所提取的特征数据，所述数据处理单元与传感器单元连接；
6、所述预警控制单元用于预设控制阈值的上传，以及接收预警指令，并按照所接收的预警指令发布预警信息，所述预警控制单元与数据处理单元连接。
7、本发明进一步的设置为：所述传感器单元包括激光雷达模块、位置定位模块、视频获取模块和第一通信模块，其中：
12、本发明进一步的设置为：所述数据处理单元包括第二通信模块、坐标转换模块和特征提取模块，其中：
13、所述第二通信模块用于实现数据处理单元与传感器单元和预警控制单元间的信息交互；
14、所述坐标转换模块基于激光雷达下获取的标定物和视觉下获取的标定物，将激光雷达坐标系下获取的标定物坐标与视觉坐标系下的坐标一一对应，确定激光雷达坐标系与视觉坐标系之间的转换关系，以及实现激光雷达坐标和视觉坐标间的转换，所述坐标转换模块与第二通信模块连接，所述坐标转换模块与第二通信模块连接；
15、所述特征提取模块基于激光雷达数据，提取第一特征数据，以及基于视频数据，提取第二特征数据，所述特征提取模块与坐标转换模块连接。
16、本发明进一步的设置为：所述数据处理单元还包括特征融合模块、阈值对比模块和数据库模块，其中：
17、所述特征融合模块用于将激光雷达与视觉提取的特征数据进行融合，得到具有第一特征数据和第二特征数据的匹配目标，所述特征融合模块与特征提取模块连接；
18、所述阈值对比模块用于将所融合的目标的特征数据与预存储的控制阈值进行对比，确定是否发出对应的预警指令，所述阈值对比模块与特征融合模块连接
19、所述数据库模块用于存储所获取的传感器数据和预设的控制阈值信息，所述数据库模块与第二通信模块和阈值对比模块均连接。
20、本发明进一步的设置为：所述预警控制单元包括第三通信模块、预警发布模块和阈值设定模块，其中：
22、所述预警发布模块用于接收预警指令，并按照所接收的预警指令发布预警信息，所述预警发布模块与第三通信模块连接；
23、所述阈值设定模块用于预设控制阈值的上传，所述阈值设定模块与第三通信模块连接。
24、本发明的第二方面：还提供了一种基于雷视融合的路侧感知控制方法，其应用于上述基于雷视融合的路侧感知控制系统，包括以下步骤：
30、根据所融合的目标的特征数据，与预存储的控制阈值进行对比，发出预警指令。
32、基于激光雷达下获取的标定物和视觉下获取的标定物，将激光雷达坐标系下获取的标定物坐标与视觉坐标系下的坐标一一对应；
33、根据标定物坐标，确定激光雷达坐标系与视觉坐标系之间的转换关系，(xv,yv,zv)＝t×(xr,yr,zr)，式中，(xv,yv,zv)为激光雷达坐标系下目标的坐标，(xr,yr,zr)为视觉坐标系下目标的坐标，t为转换矩阵。
35、速度特征提取：获取激光雷达对目标的发射信号频率f1、接收信号频率f2和激光雷达传播速度c，计算得到目标的速度
36、加速度特征提取：获取目标连续若干个时刻的速度数据，计算目标在i时刻的加速度为式中，vi+1为i+1时刻的速度，vi-1为i-1时刻的速度，δt为激光雷达更新周期；然后分别求取在i+n周期内的若干个连续加速度的平均值，即为该周期内的加速度。
38、从视频数据中提取目标轮廓形状；识别所提取的目标轮廓形状，得到目标的分类信息。
39、本发明进一步的设置为：所述融合激光雷达与视觉提取的特征数据的过程如下：
40、将获取第一特征数据的目标坐标匹配到视觉坐标系下，得到视觉坐标系下具有第一特征数据的目标坐标，即转换目标坐标；
42、从中选择间距最小的目标进行匹配，得到匹配目标，该匹配目标具有第一特征数据和第二特征数据。
44、本发明通过获取传感器数据，将激光雷达数据和视频数据在空间上匹配，再基于激光雷达数据，提取第一特征数据，以及基于视频数据，提取第二特征数据，然后融合激光雷达与视觉提取的特征数据，根据所融合的目标的特征数据，与预存储的控制阈值进行对比，发出预警指令；本发明通过综合激光雷达数据和视频数据，不仅能获取目标的距离、速度、加速度等运动相关信息，还能知晓目标的外观轮廓、具体分类，二者融合实现了对交通参与者更全面且精准的感知，同时，基于标定物的空间匹配，确定激光雷达坐标系与视觉坐标系之间的转换关系，使得不同传感器探测到的同一目标能在空间上准确对应起来，避免了在融合数据过程中出现目标信息错配的问题，极大提高了整个路侧感知系统对交通状况判断的准确性，此外，融合后的特征数据涵盖了目标的多方面关键特征，当与预存储的控制阈值进行对比时，能更科学、合理地判断是否发出预警。
针对现有雷视融合机器人在地形拍摄时易因顶部碰撞导致设备破损的问题，提出通过滑动座、复位弹簧及防护罩结构实现碰撞缓冲，配合散热设备与散热网架保障设备运行稳定性。技术方案通过机械结构优化与热管理设...
针对大长隧道内传统车辆引导方法存在实时性差、预测误差大、适应性不足的问题，提出基于雷视融合数据的车辆引导方案。通过融合雷达与视频数据，实时获取车辆轨迹信息，结合平滑处理与线性回归算法预测慢行车...
针对雷视融合一体机摄像头易积灰影响监测效果的问题，提出通过螺杆传动联动移动块带动清理毛刷自动清洁的方案。驱动电机带动双螺杆同步旋转，使清洁组件沿固定块轨道上下移动，实现对摄像头表面的周期性自动...
针对现有雷视融合一体机俯仰角度调节需拆卸安装的缺陷，提出通过电动伸缩杆联动H型支撑架与定位架的调节机构，实现非拆卸式俯仰角动态调节，提升设备安装维护效率。同时集成雷达探测区与监控区，结合程序算...
1.振动信号时频分析理论与测试系统设计 2.汽车检测系统设计 3.汽车电子控制系统设计
1.智能机器人技术 2.智能检测与控制技术 3.机构运动学与动力学 4.机电一体化技术
上一篇: 数码视讯全力助推4K8K超高清频道建设AI感知技术引领未来电视新时代
