(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210809378.0 (22)申请日 2022.07.11 (71)申请人 闽江学院 地址 350000 福建省福州市闽侯县上街 镇 溪源宫路200号 (72)发明人 林耿　陈开志　董正山　 (74)专利代理 机构 福州市鼓楼区京华专利事务 所(普通合伙) 35212 专利代理师 王美花 (51)Int.Cl. G06T 3/00(2006.01) G06T 17/20(2006.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 20/70(2022.01) G06N 3/02(2006.01) G06F 17/16(2006.01) G01S 17/89(2020.01) G01S 17/08(2006.01) (54)发明名称 融合激光测距和监控图像的双模态学习边 坡风险检测方法 (57)摘要 本发明公开了一种融合激光测距和监控图 像的双模态学习边坡风险检测方法， 涉及边坡安 全监测技术领域。 本发明提供的一种融合激光测 距和监控图像的双模态学习边坡风险检测方法， 先通过结合监控摄像头图像数据和单台单点激 光测距仪采集的三维位置数据， 将图像特征和激 光测距特征进行融合， 通过激光测距补充了第三 维的特征， 极大了提高了对边坡的立体感知能 力， 信息量更大， 识别能力更强； 然后通过构建双 模态网络并进行多模态学习， 检测出边坡风险的 种类和区域， 特别是一些局部风险变化， 为坡面 检测系统提供准确、 实时的预警服务， 减少误报 警概率。 权利要求书2页 说明书7页 附图4页 CN 115409691 A 2022.11.29 CN 115409691 A 1.一种融合激光测距和监控图像的双模态学习边坡风险检测方法， 其特 征在于， 包括： 在坡面指定区域安装设置四个边角基准点标识物， 使其在摄像头上可以清晰识别， 同 时作为激光测距四角基准点； 通过激光测距设备和摄像头同时对所述指定区域进 行数据采 集和图像采集； 将所述激光测距设备第 一次采集到的间隔点数据作为基准数据， 利用四个边角基准点 坐标排除区域外离群点， 将余下有效点位置数据利用插值算法构建基准三维坡面； 将第一 次之后采集到的间隔点数据作为监测数据， 通过同样的方法得到监测三维坡面， 然后求与 所述基准 三维坡面的差值得到三维差值坡面图； 根据采集图像上四个基准点坐标和测距设备的四个基准点的三维位置建立仿射变换 关系， 然后利用透视变换， 将三维差值坡面图上 的点， 投射到采集图像平面上， 并用插值算 法构建采集图像上 所有像素点对应的三维坡面差值， 得到融合对齐的坡面差值图； 在所述摄像头采集的图像上进行边坡风险类别和风险区域标注， 用于训练； 构建双模 态网络， 所述双模态网络包括滑坡感知网络、 第一神经网络、 第一模态融合网络、 第二神经 网络、 第二模态融合网络以及感知融合网络； 所述滑坡感知网络与第一神经网络的输入均 为融合对齐的坡面差值图， 所述第二神经网络的输入为坡面采集图像； 所述感知融合网络 用于对所述第一模态融合网络、 第二模态融合网络以及滑坡感知网络的输出端进 行多模态 融合； 然后将训练图像以及融合对齐的坡面差值图作为双模态网络的输入进行训练， 训练 完成后得到双模态学习边坡风险检测模型； 在检测部署时分别获取摄像头采集图像以及激光测距设备采集的数据， 按照训练时的 相同的数据处理方法排除区域外点和离群点， 得到待检测图像 以及融合对齐的坡面差值 图， 输入双模态学习边坡风险检测模型中， 检测识别后输出边坡风险类别和区域。 2.根据权利要求1所述的方法， 其特征在于： 根据训练图像上四个基准点坐标和测距设 备的四个 基准点的三维位置建立仿射变换关系， 具体包括： 输入四个基准点在激光测距上四个点的xy平面位置(x[i],y[i]),对应图像上的XY位 置(X[i],Y[i])， 求透视矩阵H， 矩阵大小3 ×3， 共8个变量， 由透视矩阵的标准解法， 需要列8 个方程： 一对对应点构建的方程 为： 四对点共8个方程， 从而求出矩阵H中的8个参数； 将激光测距xy平面上点通过上面变换式子变换到图像平面XY上， 则图像上像素对应点 具有三维坡面的差值数据。 3.根据权利要求1或2所述的方法， 其特 征在于： 所述 三维差值坡面图的构建方法包括：权　利　要　求　书 1/2 页 2 CN 115409691 A 2步骤1、 在XY平面上， 在XY方向上每隔t米， 在X轴区间[Xmin,Xmax]和Y轴的区间[Ymin, Ymax]构建插值 点网络Tnet， 其中， t为设定值且t>0； 步骤2、 输入去除异常点和离群点后的坡面扫描点数据， 将数据点投影在XY平面上， 利 用Delaunay三角剖分算法构建Delaunay三角网； 步骤3、 计算每个Tnet点落在Delaunay三角网哪个三角内， 然后利用该三角三个点xyz 坐标计算该平 面方程z＝f(x,y)， 将插值点Tnet点xy值代入z＝f(x,y)计算对应Z值， 遍历插 值计算出Tnet中的所有点的Z值； 步骤4、 将Tnet的xy值用索引坐标代替， 得到插值 点的新数据点 集(m,n,z)。 4.根据权利要求1所述的方法， 其特征在于： 所述双模态网络还包括： 所述滑坡感知网 络包括依 次连接的一个切片操作模块、 一个卷积模块以及三个全连接模块， 所述滑坡感知 网络的输出为感知系 数； 所述感知融合网络为全连接模块， 所述第一神经网络和第二神经 网络为yo lov5网络。权　利　要　求　书 2/2 页 3 CN 115409691 A 3