(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210944935.X (22)申请日 2022.08.08 (71)申请人 武汉理工大 学 地址 430070 湖北省武汉市洪山区珞狮路 122号 (72)发明人 熊彪　沈鹏　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 郑勤振 (51)Int.Cl. G06V 20/64(2022.01) G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 多模态的墙砖识别方法、 系统及装置 (57)摘要 公开了一种多模态的墙砖识别方法、 系统及 装置， 所述方法包括： 采集 室内三维点云数据； 对 三维点云数据进行预处理， 得到融合强度图和深 度图的RGB图像， 并记录三维点云到二维图像的 旋转矩阵； 采用墙砖识别模型对RGB图像进行识 别； 根据墙砖识别模型的识别结果和对应的旋转 矩阵生成墙砖区域的三维检测结果。 本发明能够 有效克服墙面的噪声， 获得准确的识别结果。 权利要求书2页 说明书4页 附图5页 CN 115457537 A 2022.12.09 CN 115457537 A 1.一种多模态的墙砖识别方法， 其特 征在于， 包括： 获取室内三维点云数据； 对所述三维点云数据进行语义分割， 提取 出垂直于水平面的墙壁 点云； 将所述墙壁 点云旋转到水平面， 得到俯视下的墙壁 点云， 并记录 旋转矩阵； 对水平的所述墙壁 点云栅格化处 理， 以高斯加权的方式计算强度值， 生成强度图； 将水平的所述墙壁点云的高度值归一化， 将归一化后的高度值作为深度图的灰度值， 生成深度图； 将所述强度图和所述深度图按RGB通道融合成为RGB图像； 采用墙砖识别模型对所述RGB图像进行识别， 该墙砖识别模型的特征提取网络包括使 卷积核适应不同形状的墙砖区域的可变形卷积网络， 其中所述RGB图像输入到特征提取网 络后得到特征图， 使用RPN生成候选框， 所述特征图和所述候选框通过感兴趣区域池化和分 类得到图像识别结果， 其中生成所述候选框时根据墙砖目标的长宽比生成对应比例的锚框 长宽比使得不同尺寸和缩放比例的锚框能够适应不同尺度的墙砖目标； 根据所述墙砖识别模型的识别结果和所述旋转矩阵生成墙砖区域的三维检测结果。 2.根据权利要求1所述的多模态的墙砖识别方法， 其特征在于， 所述三维检测结果具体 生成方法为： 将所述墙砖识别模型 的识别结果去冗余后得到图像上 的位置信息； 利用所述 旋转矩阵， 将图像上 的所述位置信息转换得到三维点云的空间坐标信息， 空间坐标即为所 述三维检测结果。 3.一种多模态的墙砖识别系统， 其特 征在于， 包括： 数据获取模块， 其被 配置为获取室内三维点云数据； 数据预处理模块， 其被配置为对所述三维点云数据进行语义分割， 提取出垂直于水平 面的墙壁点云， 将所述墙壁点云旋转到水平面， 得到俯视下 的墙壁点云， 并记录旋转矩阵， 对水平的所述墙壁点云栅格化处理， 以高斯加权的方式计算 强度值， 生成强度图， 将水平的 所述墙壁点云的高度值归一化， 将归一化后的高度值作为深度图的灰度值， 生成深度图， 将 所述强度图和所述深度图按RGB通道融合成为RGB图像； 墙砖识别 模型， 其被配置为对所述RGB图像进行识别， 该墙砖识别模型的特征提取网络 包括使卷积核适应不同形状的墙砖区域的可变形卷积网络， 其中所述RGB图像输入到特征 提取网络后得到特征图， 使用RPN生 成候选框， 所述特征图和所述候选框通过感兴趣区域池 化和分类得到图像识别结果， 其中生成所述候选框时根据墙砖目标的长宽比生成对应比例 的锚框长宽比使得不同尺寸和缩放比例的锚框能够适应不同尺度的墙砖目标； 墙砖区域的三维检测结果生成模块， 其被配置为根据所述墙砖识别模型的识别结果和 所述旋转矩阵生成墙砖区域的三维检测结果。 4.根据权利要求3所述的多模态的墙砖识别系统， 其特征在于， 所述三维检测结果具体 生成方法为： 将所述墙砖识别模型 的识别结果去冗余后得到图像上 的位置信息； 利用所述 旋转矩阵， 将图像上 的所述位置信息转换得到三维点云的空间坐标信息， 空间坐标即为所 述三维检测结果。 5.一种多模态的墙砖识别装置， 其特 征在于， 包括： 激光雷达， 其采集室内三维点云数据； 处理器；权　利　要　求　书 1/2 页 2 CN 115457537 A 2用于存储所述处 理器可执行指令的存 储器； 其中， 所述处理器被配置为执行所述存储器 中的指令时， 实现权利要求1 ‑2任一项所述 的方法。 6.一种非临时性计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算 机程序被处 理器执行时实现如权利要求1至2任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115457537 A 3