(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210991878.0 (22)申请日 2022.08.17 (71)申请人 华南师范大学 地址 528225 广东省佛山市南海区狮山 南 海软件科技园华 南师范大学软件学院 申请人 宁波国琅机 器人科技有限公司 (72)发明人 曹一波　赵鹏飞　 (74)专利代理 机构 广州骏思知识产权代理有限 公司 44425 专利代理师 张金龙 (51)Int.Cl. G06V 10/20(2022.01) G06V 10/46(2022.01) G06V 10/75(2022.01) G06V 10/80(2022.01)G06T 7/80(2017.01) (54)发明名称 多视觉特征融合的室内定位方法、 装置、 设 备及存储介质 (57)摘要 本发明涉及一种多视觉特征融合的室内定 位方法， 应用于携带有RGB ‑D相机的机器人， 包 括： 获取所述RGB ‑D相机采集的每帧图像， 并进行 预处理； 获取每帧图像的点特征及点描述子、 线 特征和线描述子以及面特征； 获取帧间图像的点 特征匹配关系、 线特征匹配关系和面特征匹配关 系； 构建所述点特征、 线特征和面特征的重投影 误差函数； 根据上述重投影误差函数， 构建联合 误差函数， 并对所述联合误差函数进行LM算法 处 理， 求解得到所述当前帧与所述参考帧的所述目 标图像之间的位姿变换情况。 本申请采用基于深 度学习提取到的点特征分别与线特征和面特征 相融合， 有效提高了室内定位的精度。 权利要求书4页 说明书10页 附图3页 CN 115330992 A 2022.11.11 CN 115330992 A 1.一种多视觉特征融合的室内定位方法， 应用于携带有RGB ‑D相机的机器人， 其特征在 于， 该方法包括以下步骤： 获取所述RGB‑D相机采集的每帧图像， 并进行 预处理； 将预处理后的每帧图像输入至SuperPoint网络得到所述每帧图像的点特征及点描述 子， 对预处理后的每帧图像进 行LSD算法处理得到所述每帧图像的线 特征和线描述子， 对预 处理后的每帧图像进行CAPE算法处 理得到所述每帧图像的面特 征； 计算帧间图像的点描述子之间的距离， 根据所述距离得到帧间图像的点特征匹配关 系； 计算帧间图像的线描述子之 间的距离， 根据所述距离得到帧间图像的线特征匹配关系； 计算帧间图像的面特征之 间的距离和夹角， 得到帧间图像的面特征匹配 关系， 其中， 帧间图 像的面特 征通过Has sion参数化形式表达； 选取当前帧和参考帧的所述点特征匹配关系构建点特征的重投影误差函数， 选取当前 帧和参考帧的所述线 特征匹配关系构建线 特征的重投影误差函数， 选取当前帧和参考帧的 所述面特征匹配关系构建面特 征的误差函数； 根据所述点特征的重投影误差函数、 所述线特征的重投影误差函数和所述面特征的误 差函数， 构建联合误差函数， 并对所述联合误差函数进 行LM算法处理， 求解得到所述当前帧 与所述参考帧的所述目标图像之间的位姿变换情况。 2.根据权利要求1所述的一种 多视觉特征融合的室内定位方法， 其特征在于， 对预处理 后的每帧图像进行LS D算法处理得到的线特 征和线描述子， 包括： 利用LSD算法对每帧图像进行线段检测， 并计算所述线段的梯度值和梯度 方向， 拟合得 到多个所述线特 征并形成线特 征集； 获取所述每帧图像的线特征集中任意两个线段的第 一夹角、 两个所述线段的中点构 成 的直线与两个所述线段的第二夹角以及两个所述线段端点 最小距离； 当所述第一夹角和第二夹角小于1 °， 所述最小距离小于三个像素时， 确定两个所述线 段合并为 一条线段； 剔除所述每帧图像的线特征集中长度小于五个像素的线段， 得到不同帧所述预处理图 像的线特 征和线描述子。 3.根据权利要求1所述的一种 多视觉特征融合的室内定位方法， 其特征在于， 计算帧间 图像的点描述子之间的距离， 根据所述距离得到所述帧间图像的点特 征匹配关系， 包括； 利用KNN算法计算帧间图像所述点描述子相互之间的距离， 并利用RANSAC算法剔除误 所述误差距离， 得到帧间图像的所述点特征的匹配关系， 其中， 所述距离通过汉明距离描 述； 计算帧间图像的线描述子之间的距离， 根据 所述距离得到所述帧间图像的线特征匹配 关系， 包括： 利用KNN算法计算帧间图像所述线描述子相互之间的距离， 并利用RANSAC算法剔除误 所述误差距离， 得到帧间图像的所述线特征的匹配关系， 其中， 所述距离通过汉明距离描 述； 计算帧间图像的面特征之间的距离和夹角， 得到帧间图像的面特征匹配关系， 其中， 帧 间图像的面特 征通过Has sion参数化形式表达， 包括； 所述面特征记作π＝(nT,d)， n＝(nx,ny,nz)T是图像中面特征所在平面的单位法向量， d权　利　要　求　书 1/4 页 2 CN 115330992 A 2(d>0)是相机原点到所述平面的距离； 获取两个所述预处理图像中的面特征所在平面的平面法向量夹角， 以及所述相机原点 到两个所述平面的第一距离和第二距离； 当所述平面法向量夹角小于10 °， 且所述第一距离与所述第二距离之差小于0.1米时， 确定两帧之间的所述 面特征建立了匹配关系。 4.根据权利要求1所述的一种 多视觉特征融合的室内定位方法， 其特征在于， 选取当前 帧和参考帧的所述 点特征匹配关系构建所述 点特征的重投影误差函数， 包括： 获取所述参考帧的空间三维坐标点， 公式如下： spk‑1＝KP， 其中， P为所述参考帧的空间三维坐标点、 K为所述相机的内部参数、 s为所述 预处理图像的深度信息、 pk‑1为所述参考帧的像素点 坐标； 获取所述当前帧的空间三维坐标点， 公式如下： spk＝K(RP+t)， 其中， pk为与所述参考帧同一像素坐标的所述当前帧的像素点坐标、 R为 所述参考帧与所述当前帧之间的旋转位姿变换、 t为所述参考帧与所述当前帧之间的平移 位姿变换： 所述点特征的重投影误差函数构建为： ep＝pk‑Π(RP+t)， 其中， Π(.)为与K， s相关的投影函数； 所述选取当前帧和参考帧的所述线特征匹配关系构建所述线特征的重投影误差函数， 包括： 获取空间线段L， 并使用两端点L1＝(X1， Y1， Z1， r1)T和L2＝(X2， Y2， Z2， r2)T表示此线段， 记 lu1， lu2为其非齐次坐标， 采用普朗克坐标表示所述空间线段L 为： 其中， v为所述空间线段L的方向向量、 n是所述空间线段L 与坐标原点构成平面的法向量， 并且过坐标原点； 将所述参考帧中的线段根据所述相机的内部参数K和所述深度信息s投影到三维空间 中， 得到空间线段L及两端点Ls、 Le， 将L重投影到所述当前帧中， 得到投影线段l及两端点 ld、 le， 公式如下： 匹配L的投影线段l， 得到当前帧的线段l ′及两端点 ls′、 le′； 使用ls′， le′到投影线段l的距离表示空间线段L的重投影误差为： 其中， d(l ′,l)代表直线l′与l间的距离； 所述选取当前帧和参 考帧的匹配关系构建所述 面特征的误差函数， 包括： 将所述当前帧和参 考帧中的面特 征最小参数化， 表示 为： 其中， φ和ψ是法线的方位角和 仰角， nx、 ny、 nz分别为x、 y、 z轴的单位法向量；权　利　要　求　书 2/4 页 3 CN 115330992 A 3