(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210978712.5 (22)申请日 2022.08.16 (65)同一申请的已公布的文献号 申请公布号 CN 115049825 A (43)申请公布日 2022.09.13 (73)专利权人 北京大学 地址 100089 北京市海淀区颐和园路5号王 克桢楼14层 (72)发明人 喻俊志　孔诗涵　孟岩　魏力夫　 (74)专利代理 机构 深圳市世纪恒程知识产权代 理事务所 4 4287 专利代理师 罗秋莲 (51)Int.Cl. G06V 10/25(2022.01) G06N 3/04(2006.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 20/17(2022.01) G01S 17/86(2020.01) G01S 17/93(2020.01) G01S 19/42(2010.01) G01C 21/20(2006.01) B63B 35/32(2006.01) (56)对比文件 CN 114815810 A,202 2.07.29 CN 10762 2231 A,2018.01.23 CN 112848823 A,2021.0 5.28 CN 10946 0754 A,2019.0 3.12 CN 110758658 A,2020.02.07 WO 2020237693 A1,2020.12.0 3 杜仕刚 等. 《空－ 地协同地图匹配的路径规 划方法》 . 《传感器与微系统》 .2020,第39卷(第2 期),第44-47页. 审查员 吴黄飞 (54)发明名称 水面清洁方法、 装置、 设备及计算机可读存 储介质 (57)摘要 本发明公开了一种水面清洁方法、 装置、 设 备及计算机可读存储介质， 属于导航技术领域。 所述方法包括步骤： 通过所述空中装置获取水面 区域的全局图像， 以及通过所述水面装置获取所 述水面区域的局部图像； 确定所述全局图像中的 各个全局关键区域和所述局部图像中的各个局 部关键区域； 根据各个所述全局关键区域和各个 所述局部关键区域， 融合所述全局图像和所述局 部图像以得到水面区域地图； 基于所述水面区域 地图， 对所述水面区域中的污染物进行清理。 将 本发明中的水面清洁方法应用于水面清洁设备， 能够实现对清洁导航路径的统筹规划， 大幅提高 水面清洁机器人进行水面清洁作业时的清洁效 率。 权利要求书3页 说明书12页 附图5页 CN 115049825 B 2022.11.01 CN 115049825 B 1.一种水面清洁方法， 其特征在于， 所述水面清洁方法应用于水面清洁设备， 所述水面 清洁设备包括： 空中装置和水面装置； 所述水面清洁方法包括以下步骤： 通过所述空中装置获取水面 区域的全局图像， 以及通过所述水面装置获取所述水面 区 域的局部图像； 确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域； 根据各个所述全局关键区域和各个所述局部关键区域， 融合所述全局图像和所述局部 图像以得到水面区域 地图； 基于所述水面区域 地图， 对所述水面区域中的污染物进行清理； 所述确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区 域的步骤， 包括： 根据预设的神经网络模型， 确定所述全局图像中的各个全局关键区域和所述局部图像 中的各个局部关键区域； 其中， 所述神经网络模型包括： 输入图像模块、 Peleenet网络中的Stem模块、 Shufflenet‑v2模块、 阶梯上采样模块以及输出模块； 所述根据 预设的神经网络模型， 确定所述全局图像中的各个全局关键区域和所述局部 图像中的各个局部关键区域的步骤， 包括： 将所述全局图像或所述局部图像输入至所述神经网络模型， 以根据所述输入图像模块 接收所述全局图像或所述局部图像； 根据所述Stem模块， 提取所述全局图像的第一浅层特征或提取所述局部图像的第二浅 层特征； 根据所述Shufflenet ‑v2模块， 提取所述全局图像的第一深层特征或提取所述局部图 像的第二深层特 征； 根据所述阶梯上采样模块， 将所述第 一浅层特征和所述第 一深层特征进行阶梯式特征 融合以得到所述全局图像的第一特征集合， 或者， 将所述第二浅层特征和所述第二深层特 征进行阶梯式特 征融合以得到所述局部图像的第二特 征集合； 根据所述输出模块， 计算所述第 一特征集合以确定所述全局图像中的各个全局关键区 域， 或者， 计算所述第二特 征集合以确定所述局部图像中的各个局部关键区域。 2.如权利要求1所述的水面清洁方法， 其特征在于， 所述根据各个所述全局关键区域和 各个所述局部关键区域， 融合所述全局图像和所述局部图像以得到水面区域地图的步骤， 包括： 确定各个所述全局关键区域的全局关键坐标和各个所述局部关键区域的局部关键坐 标； 将各个所述全局关键坐标输入至所述全局图像以得到全局地图， 以及将各个所述局部 关键坐标输入至所述局部图像以得到局部地图； 融合所述全局地图和所述局部地图以得到水面区域 地图。 3.如权利要求2所述的水面清洁方法， 其特征在于， 所述确定各个所述全局关键区域的 全局关键坐标和各个所述局部关键区域的局部关键坐标的步骤， 包括： 获取所述空中装置的第一 卫星坐标和所述全局关键区域的像素坐标；权　利　要　求　书 1/3 页 2 CN 115049825 B 2基于所述第 一卫星坐标和所述像素坐标之间的位置对应关系， 生成所述全局关键区域 的全局关键坐标， 所述全局关键坐标表征 所述全局关键区域的第二 卫星坐标。 4.如权利要求2所述的水面清洁方法， 其特征在于， 所述确定各个所述全局关键区域的 全局关键坐标和各个所述局部关键区域的局部关键坐标的步骤， 还 包括： 获取所述水面装置的第 三卫星坐标、 所述局部关键区域相对于所述水面装置的深度视 觉信息以及所述局部关键区域的雷达信息； 基于所述第三卫星坐标、 所述深度视觉信息以及所述雷达信息之间的位置对应关系， 生成所述局部 关键区域的局部 关键坐标， 所述局部 关键坐标表征所述局部 关键区域的第四 卫星坐标。 5.如权利要求1所述的水面清洁方法， 其特征在于， 所述水面装置包括： 水平推进器、 侧 向推进器； 所述对所述水面区域中的污染物进行清理的步骤， 包括： 通过所述水平推进器控制所述水面装置在所述水面区域进行前进、 后退及转向， 和/或 者， 通过所述侧向推进器控制所述水面装置在所述水面区域进行平行移动， 以令所述水面 装置对所述水面区域中的污染物进行清理。 6.一种水面清洁装置， 其特 征在于， 所述水面清洁装置包括： 目标感知模块， 用于通过空中装置获取水面区域的全局图像， 以及通过水面装置获取 所述水面区域的局部图像； 确定所述全局图像中的各个全局关键区域和所述局部图像中的 各个局部关键区域； 所述确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区 域的步骤， 包括： 根据预设的神经网络模型， 确定所述全局图像中的各个全局关键区域和所述局部图像 中的各个局部关键区域； 其中， 所述神经网络模型包括： 输入图像模块、 Peleenet网络中的Stem模块、 Shufflenet‑v2模块、 阶梯上采样模块以及输出模块； 所述根据 预设的神经网络模型， 确定所述全局图像中的各个全局关键区域和所述局部 图像中的各个局部关键区域的步骤， 包括： 将所述全局图像或所述局部图像输入至所述神经网络模型， 以根据所述输入图像模块 接收所述全局图像或所述局部图像； 根据所述Stem模块， 提取所述全局图像的第一浅层特征或提取所述局部图像的第二浅 层特征； 根据所述Shufflenet ‑v2模块， 提取所述全局图像的第一深层特征或提取所述局部图 像的第二深层特 征； 根据所述阶梯上采样模块， 将所述第 一浅层特征和所述第 一深层特征进行阶梯式特征 融合以得到所述全局图像的第一特征集合， 或者， 将所述第二浅层特征和所述第二深层特 征进行阶梯式特 征融合以得到所述局部图像的第二特 征集合； 根据所述输出模块， 计算所述第 一特征集合以确定所述全局图像中的各个全局关键区 域， 或者， 计算所述第二特 征集合以确定所述局部图像中的各个局部关键区域； 地图融合模块， 用于根据各个所述全局关键区域和各个所述局部关键区域， 融合所述权　利　要　求　书 2/3 页 3 CN 115049825 B 3