0769-87921175
dglc17@126.com
本发明提出了基于单线激光雷达与视觉融合的目标测距和追踪的方法，主要解决了传统多线激光雷达高成本、高功耗和对小型无人船不适应的问题。该方法通过融合单线激光雷达与视觉传感器的数据，结合预先标定的内外参数矩阵进行信息融合，利用KLT算法与卡尔曼滤波进行目标运动状态的预测和修正，从而实现对水面目标的精确测距和稳定追踪。本方法旨在满足小型无人船在复杂水面环境中对目标进行低成本、高精度和稳定的测距追踪需求，该方法远距离追踪效果更好，追踪效果更稳定，同时还可避免追踪目标被部分遮挡问题，通过内外参数矩阵的预先标
1.基于单线激光雷达与视觉融合的目标测距和追踪的方法，其特征在于，该方法包含
S1：通过单线激光雷达进行目标的初步三维空间定位，获取目标相对于雷达的粗略距
S2：利用视觉传感器进行目标的二维图像获取，并通过图像处理算法识别目标特征点；
S3：通过预先标定得到的内外参数矩阵，将单线激光雷达的三维空间信息与视觉传感
S4：应用数据融合结果，在目标特征点上进行精确的距离测量和追踪，其中包括应用多
2.根据权利要求1所述基于单线激光雷达与视觉融合的目标测距和追踪的方法，其特
征在于，所述S1中通过单线激光雷达进行目标的初步三维空间定位的特征在于：
T1：单线激光雷达采用的激光波长为905纳米，以确保在各种光照条件下的高测距精
T2：雷达的扫描角度范围设定为±30度，用于捕获目标在水平面上的方向信息；
T3：利用雷达获取的时间飞行数据，计算目标与雷达之间的粗略距离θ，通过小孔成像
其中相机上的点p(x,y,z)在图像坐标成像的点是p`(x,y)，其中(u,v)为像素坐标
T4：结合雷达平台的高度z，完成目标在三维空间x,y,z中的初步位置定位。
3.根据权利要求1所述基于单线激光雷达与视觉融合的目标测距和追踪的方法，其特
P1：使用CMOS图像传感器，具有200万像素分辨率和60帧/秒的帧率，以实现高清晰度的
P2：图像传感器配置有自动曝光和自动白平衡功能，以适应不同光照条件下的目标图
P3：利用Harris角点检测算法进行目标特征点的提取，该算法有效识别目标图像中的
P4：结合图像中的特征点和雷达获取的初步三维空间定位信息，通过对极几何约束进
P5：将图像坐标系下的雷达坐标点转换为像素坐标系下的像素点，以实现数据融合和
4.根据权利要求1所述基于单线激光雷达与视觉融合的目标测距和追踪的方法，其特
R1：通过棋盘格标定板作为标定对象，其中棋盘格由黑白相间的正方形组成，用于单线
R3：同时获取单线激光雷达对标定板的距离数据，进一步利用最小二乘法求解雷达和
R4：结合内参数矩阵K、畸变系数D和外参数矩阵T，通过线性三角化方法进行数据融合；
R5：通过以下公式将雷达坐标系的点映射到相机坐标系下，进一步进行目标的定位和
是雷达和相机联合标定的4*4的外参矩阵，[x,y,z]是雷达坐标系下的点。
5.根据权利要求1所述基于单线激光雷达与视觉融合的目标测距和追踪的方法，其特
时间t中寻找时间t的匹配点，其中，n，n代表检测框的高度和宽度，i和j表示中心点的
Y3：采用欧式距离准则，评估两帧之间特征点的匹配程度，设X是上一帧图像f(x,y,
6.根据权利要求1所述基于单线激光雷达与视觉融合的目标测距和追踪的方法，其特
征在于，所述S4中卡尔曼滤波器主要用于预测目标的运动状态，其包含以下步骤：
w]是均值为0互不相关的随机加速噪声，x(k+1)及y(k+1)是特征点在k+1时刻的坐标，
U3：根据上述状态方程，对特征点在k+1时刻的位置x(k+1)和y(k+1)及其速度
7.根据权利要求6所述基于单线激光雷达与视觉融合的目标测距和追踪的方法，其特
征在于，所述卡尔曼滤波器还包括一种KLT算法的输出进行修正和优化的方法，具体步骤如
M2：利用KLT算法提供的目标特征点信息，结合上述观测方程，应用卡尔曼滤波器对目
M3：基于卡尔曼滤波器的估计结果，对KLT算法的输出进行修正，确保在连续的图像帧
[0001]本发明属于水面目标测距和追踪技术领域，特别是涉及基于单线激光雷达与视觉
[0002]对于水面垃圾，传统清理方式就是通过人为驾驶救生筏。随着人工智能的普及以
及算法的不断提升，越来越多的繁杂、危险的工作可以通过机器来代替完成，由此水面无人
垃圾清理船应运而生，而水面无人垃圾清理船的关键技术就是对水面目标垃圾的识别以及
[0003]水面目标的测距和追踪技术已经成为多个领域如海洋科学、船舶导航和渔业监测
等的核心技术。传统的测距方法主要基于视觉传感技术，如单目或双目视觉系统，这些系统
通常利用图像的特征点匹配或深度估计算法来估计目标的距离。然而，这些传统方法在处
[0004]中国发明专利CN2.8，公开了一种多传感器融合的近岸无人船SLAM方
法。该方法成功地将激光雷达惯性里程计(LIO)和视觉惯性里程计(VIO)紧密耦合，并巧妙
地利用了水面和水岸线的语义信息来联合处理数据。此方法在某些场景中，如强反光的水
面环境，确实提供了较高的鲁棒性和准确性。然而，该方法仍然存在一些局限性。首先，它在
目标追踪和特征点识别方面仍然面临一些困难。其次，尽管其能够较好地处理近距离的测
[0005]中国发明专利CN5.4，公开了一种无人船的目标识别追踪系统及其工
作方法。该系统结合了3D激光雷达、矢量水听器等技术来实现对水面和水下障碍物的扫描
和避障。虽然这种方法在处理水下障碍物上有所突破，但它对于长距离测距和高精度追踪
[0006]现有的目标追踪算法都只适用于摄像头可视距离范围内的追踪(一般摄像头的可
视距离在2‑4m)，对于远距离追踪效果不佳，在近年来，随着无人船技术的快速发展，实现精
确的水面目标测距和追踪成为了研究的重要课题。为了提高测距和追踪的精度，传统方法
往往依赖于高成本、高功耗的设备，如多线激光雷达。然而，这种方法不仅成本高昂，而且在
[0007]为了解决这些问题，市场上已经公开了基于单线激光雷达的方法，与多线激光雷
达相比，单线激光雷达具有成本低、功耗少的优势，但是，单纯依赖单线激光雷达进行目标
[0008]为了进一步提高测距和追踪的精度和稳定性，本发明将单线激光雷达与其他传感
器，如视觉传感器，进行融合的方法。通过这种融合方法，可以充分利用每种传感器的优势，
从而实现更为精确和稳定的目标测距和追踪，利用融合检测追踪算法，通过融合单线雷达
的传感距离(一般雷达的传感距离在8‑10m)，实现远距离目标追踪，并且由于本算法是通过
[0009]针对现有技术的不足，本发明提出了基于单线激光雷达与视觉的水面目标测距追
踪方法，其核心是融合单线激光雷达与视觉传感器的数据，以实现对水面目标的精确测距
和稳定追踪。该方法涵盖了以下几个关键步骤：单线激光雷达进行目标的初步三维空间定
位、视觉传感器进行目标的二维图像获取、通过预先标定得到的内外参数矩阵进行信息融
合，以及利用KLT算法与卡尔曼滤波进行目标运动状态的预测和修正。为了实现该方法，本
发明提供基于单线激光雷达与视觉融合的目标测距和追踪的方法，该方法包含以下步骤：
[0010]S1：通过单线激光雷达进行目标的初步三维空间定位，获取目标相对于雷达的粗
[0011]S2：利用视觉传感器进行目标的二维图像获取，并通过图像处理算法识别目标特
[0012]S3：通过预先标定得到的内外参数矩阵，将单线激光雷达的三维空间信息与视觉
[0013]S4：应用数据融合结果，在目标特征点上进行精确的距离测量和追踪，其中包括应
[0015]作为本发明的一种优先技术方案，所述步骤S1中通过单线激光雷达进行目标的初
[0016]T1：单线激光雷达采用的激光波长为905纳米，以确保在各种光照条件下的高测距
[0017]T2：雷达的扫描角度范围设定为±30度，用于捕获目标在水平面上的方向信息；
[0018]T3：利用雷达获取的时间飞行数据，计算目标与雷达之间的粗略距离θ，通过小孔
坐标系和物理成像坐标系原点位置的偏移量，(1/dx,1/dy)为偏导数；
[0021]T4：结合雷达平台的高度z，完成目标在三维空间x,y,z中的初步位置定位。
[0022]作为本发明的一种优先技术方案，所述步骤S2中二维图像获取具备以下特征：
[0023]P1：使用CMOS图像传感器，具有200万像素分辨率和60帧/秒的帧率，以实现高清晰
[0024]P2：图像传感器配置有自动曝光和自动白平衡功能，以适应不同光照条件下的目
[0025]P3：利用Harris角点检测算法进行目标特征点的提取，该算法能够有效识别目标
[0026]P4：结合图像中的特征点和雷达获取的初步三维空间定位信息，通过对极几何约
[0027]P5：将图像坐标系下的雷达坐标点转换为像素坐标系下的像素点，以实现数据融
[0028]作为本发明的一种优先技术方案，所述步骤S3中二维图像信息进行融合包含以下
[0029]R1：通过棋盘格标定板作为标定对象，其中棋盘格由黑白相间的正方形组成，用于
[0030]R2：利用标定方法获取视觉传感器的内参数矩阵K和畸变系数D；
[0031]R3：同时获取单线激光雷达对标定板的距离数据，进一步利用最小二乘法求解雷
[0032]R4：结合内参数矩阵K、畸变系数D和外参数矩阵T，通过线性三角化方法进行数据
[0033]R5：通过以下公式将雷达坐标系的点映射到相机坐标系下，进一步进行目标的定
[0035]其中，[x,y,z]w是映射后图像坐标系下的点，是相机内参矩阵，
是雷达和相机联合标定的4*4的外参矩阵，[x,y,z]w是雷达坐标系下的点。
[0036]作为本发明的一种优先技术方案，所述步骤S4中距离测量和追踪使用的是KLT算
[0037]Y1：选择上一帧图像中的特征点集合，用于在下一帧图像中进行匹配；
内，从时间t中寻找时间t的匹配点，其中，n，n代表检测框的高度和宽度，i和j表示中心
[0039]Y3：采用欧式距离准则，评估两帧之间特征点的匹配程度，设X是上一帧图像f(x,
[0045]作为本发明的一种优先技术方案，所述步骤S4中卡尔曼滤波器主要用于预测目标
[w，w]是均值为0互不相关的随机加速噪声，x(k+1)及y(k+1)是特征点在k+1时刻的坐标，
[0051]作为本发明的一种优先技术方案，所述卡尔曼滤波器还包括一种KLT算法的输出
[0055]M2：利用KLT算法提供的目标特征点信息，结合上述观测方程，应用卡尔曼滤波器
[0056]M3：基于卡尔曼滤波器的估计结果，对KLT算法的输出进行修正，确保在连续的图
[0057]与相关的现有技术相比，本申请提案相比现有技术，有以下主要技术优点：本发明
[0058]成本效益：通过采用单线激光雷达代替传统的多线激光雷达，本发明显著降低了
[0059]高精度和稳定性：通过融合单线激光雷达和视觉传感器的数据，本发明提供了更
高的测距和追踪精度。结合KLT算法和卡尔曼滤波，进一步增强了对目标的稳定追踪能力，
[0060]灵活性：本发明不仅适用于小型无人船，还可以轻松地扩展到其他平台或应用，如
[0061]实时性能：利用本发明的方法，可以实时地获取和处理数据，从而实现对水面目标
[0062]自适应性：通过内外参数矩阵的预先标定和信息融合，本发明能够自动适应不同
[0068]以下结合附图和实施例，进一步说明本发明。但是，本发明可以以多种不同方式实
现，并且不应被理解为限制于所示的实施例；反之，这些实施例为那些熟悉技术的人员提供
[0069]基于单线激光雷达与视觉融合的目标测距和追踪的方法，该方法包含以下步骤：
[0070]S1：通过单线激光雷达进行目标的初步三维空间定位，获取目标相对于雷达的粗
[0072]T1：单线激光雷达采用的激光波长为905纳米，以确保在各种光照条件下的高测距
[0073]T2：雷达的扫描角度范围设定为±30度，用于捕获目标在水平面上的方向信息；
[0074]T3：利用雷达获取的时间飞行数据，计算目标与雷达之间的粗略距离θ，通过小孔
坐标系和物理成像坐标系原点位置的偏移量，(1/dx,1/dy)为偏导数；
[0077]T4：结合雷达平台的高度z，完成目标在三维空间x,y,z中的初步位置定位。
[0078]S2：利用视觉传感器进行目标的二维图像获取，并通过图像处理算法识别目标特
[0080]P1：使用CMOS图像传感器，具有200万像素分辨率和60帧/秒的帧率，以实现高清晰
[0081]P2：图像传感器配置有自动曝光和自动白平衡功能，以适应不同光照条件下的目
[0082]P3：利用Harris角点检测算法进行目标特征点的提取，该算法有效识别目标图像
[0083]P4：结合图像中的特征点和雷达获取的初步三维空间定位信息，通过对极几何约
[0084]P5：将图像坐标系下的雷达坐标点转换为像素坐标系下的像素点，以实现数据融
[0085]S3：通过预先标定得到的内外参数矩阵，将单线激光雷达的三维空间信息与视觉
[0087]R1：通过棋盘格标定板作为标定对象，其中棋盘格由黑白相间的正方形组成，用于
[0088]R2：利用标定方法获取视觉传感器的内参数矩阵K和畸变系数D；
[0089]R3：同时获取单线激光雷达对标定板的距离数据，进一步利用最小二乘法求解雷
[0090]R4：结合内参数矩阵K、畸变系数D和外参数矩阵T，通过线性三角化方法进行数据
[0091]R5：通过以下公式将雷达坐标系的点映射到相机坐标系下，进一步进行目标的定
是雷达和相机联合标定的4*4的外参矩阵，[x,y,z]是雷达坐标系下的点。
[0094]S4：应用数据融合结果，在目标特征点上进行精确的距离测量和追踪，其中包括应
[0096]Y1：选择上一帧图像中的特征点集合，用于在下一帧图像中进行匹配；
内，从时间t中寻找时间t的匹配点，其中，n，n代表检测框的高度和宽度，i和j表示中心
[0098]Y3：采用欧式距离准则，评估两帧之间特征点的匹配程度，设X是上一帧图像f(x,
＝[w，w]是均值为0互不相关的随机加速噪声，x(k+1)及u(k+1)是特征点在k+1时刻的坐
[0109]U3：根据上述状态方程，对特征点在k+1时刻的位置x(k+1)和y(k+1)及其速度
[0110]卡尔曼滤波器还包括一种KLT算法的输出进行修正和优化的方法，具体步骤如下：
[0114]M2：利用KLT算法提供的目标特征点信息，结合上述观测方程，应用卡尔曼滤波器
[0115]M3：基于卡尔曼滤波器的估计结果，对KLT算法的输出进行修正，确保在连续的图
[0117]实施例1：如图1所示，在一个具体的实施环境中，本发明基于ROS2系统构建了一个
实验平台，该平台可以同时获取摄像头和单线激光雷达的数据。首先，激光雷达输出的原始
数据被转换为点云数据。通过雷达和摄像头的联合标定，本发明获得了外参矩阵。接着，将
点云数据映射到图像的像素坐标系中，形成一条水平的具有深度信息的直线]为了实时检测水面上的目标，本发明采用了YOLO
了筛选，仅保留目标检测框内的特征点。接着，使用KLT特征点匹配算法计算了特征点的位
移，并结合卡尔曼滤波追踪器预测和更新了状态点位置。这样，不仅实现了远距离的目标追
[0119]为了验证本方法的有效性，本发明设计了一个实验，将测量距离从0‑8m均匀划分
为4段。本发明对比了单目测距、双目测距以及本发明提出的基于单线激光雷达和视觉融合
的测距方法。实验结果表明，本方法在0‑2m范围内的测距准确性与其他两种方法相当，但在
2‑8m范围内，本方法的测距准确性明显优于单目和双目测距方法。同时本发明还提供了一
个测距算法的精准度对比图(如图3所示)和一个测距算法比较的表格(如表1所示)。
[0121]实施例2：为了验证本发明提出的使用KLT算法对前后帧目标框内的特征点进行匹
配方法，通过卡尔曼滤波对匹配的特征点构建卡尔曼滤波方程，通过不断的预测和观测，不
断地修正追踪结果，KLT结合卡尔曼滤波的特征点跟踪算法原理如图3，从视频中任意截取
前后两帧图像，追踪检测结果如图5所示(图左为前一帧的追踪(Tracking
验证追踪的稳定性，使用SIFT匹配算法得到对应同名点的坐标，以计算KLT结合卡尔曼滤波
算法的坐标与只使用KLT算法所得坐标的平均距离作为误差衡量标准，如图4所示(其纵坐
标为绝对误差d/像素，表示像素的绝对误差值，横坐标为n帧/frame，表示每一帧的情况)。2
种类型的视频都利用前50帧图像进行对比，本发明算法的精度误差稳定在2个像素左右，是
只使用KLT算法的精度误差的1/3，这是因为单线激光雷达自身所发射的点大约在250个左
右，而映射后在检测框内的特征点会随着检测框的大小而变化，在较远距离，检测图像所生
成的检测框比较小，所包含的特征点也就少，甚至没有，这就导致只使用KLT特征点匹配算
法，无法精准匹配前后帧的特征点，而结合卡尔曼滤波算法之后，通过卡尔曼滤波算法进行
观测和预测特征点，接着通过KLT算法进行匹配就可以实现较稳定的特征点跟踪。
[0122]本发明成功提出并验证了一种基于单线激光雷达和视觉融合的测距和追踪方法，
相较于传统的测距方法，该方法在准确度上有所提升，达到了20％‑10％的增长，同时追踪
[0123]本发明提出了利用单线激光雷达点云数据与视觉相融合的检测方法，将单线D点云通过位置变换映射到2D像素平面，实现相机原有的RGB图像与单线激光雷达
进行检测过滤除目标框以外的点，提取目标框内的特征点，利用KLT匹配算法对前后帧的特
征点进行匹配，最后通过卡尔曼滤波不断修正候选框中的特征点，实现准确的远距离目标
追踪，实验结果表明该方法远距离追踪效果更好，追踪效果更稳定，同时还可避免追踪目标
[0124]以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能
因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在
不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
2、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问加。
3、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
4、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
新人教版九年级数学上册30.2 三角形的内切圆 优质课件ppt.pptx
新人教版九年级数学上册 30.3 正多边形与圆（第1课时）课件.pptx
新人教版九年级数学上册 30.3 正多边形与圆（第1课时）优质课件.pptx
新人教版九年级数学上册30.2 三角形的内切圆 优质教学课件.pptx
新人教版九年级数学上册30.3 正多边形与圆 （第2课时）优质课件.pptx
2023-2024学年广东省深圳市福田区七年级下学期期末考试英语试题（含答案）.pdf
第10课《创造宣言》课件 2026-2027学年统编版语文九年级上册.pptx
2023-2024学年广东省深圳市福田区七年级下学期期末数学试题及答案.pdf
原创力文档创建于2008年，本站为文档C2C交易模式，即用户上传的文档直接分享给其他用户（可下载、阅读），本站只是中间服务平台，本站所有文档下载所得的收益归上传人所有。原创力文档是网络服务平台方，若您的权利被侵害，请发链接和相关诉求至 电线) ，上传者
上一篇: 雷视融合技术大热交通安全将迎哪些变革？智慧交通研究社关注！
