(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210581185.4 (22)申请日 2022.05.26 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 钱堃　段波伊　景星烁　张天浩　 张卓旸　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 周蔚然 (51)Int.Cl. B25J 9/16(2006.01) (54)发明名称 一种含领域自适应的机器人乱序目标推抓 方法 (57)摘要 本发明涉及机器人抓取操作领域， 公开一种 含领域自适应的机器人乱序目标推抓方法， 包括 以下步骤： 1） 搭建与真实场景相似的仿真环境， 训练推‑抓操作协 同策略的深度强化学习模型； 2） 分别在真实环境和仿真环境中采集样本， 进行 相应预处理构成用于训练图像迁移网络的数据 集； 3） 构建基于多级注意力聚合及一致性约束的 双向域对抗迁移网络， 在所采集的非配对图像数 据集上进行训练， 实现将实物图像迁移为伪仿真 图像并且迁移效果满足机器人推 ‑抓场景中的任 务一致性； 4） 将解耦训练的图像迁移模块和机器 人操作技能模 型进行级 联部署， 实现机器人对现 实环境中物体的乱序推散和抓取。 本发明可用于 基于RGB‑D相机的机器人乱序目标抓推协同策略 迁移学习问题。 权利要求书2页 说明书6页 附图3页 CN 114918918 A 2022.08.19 CN 114918918 A 1.一种含领域自适应的机器人乱序目标推抓方法， 其特 征在于， 包括以下步骤： 步骤1， 在仿真平台中搭建与真实场景相似的仿真环境， 训练推 ‑抓操作协同策略的深 度强化学习模型并在仿真环境中测试其 性能； 步骤2， 分别在真实和仿真环境中采集抓取场景图像， 通过视角变换， 构建现实域和仿 真域非配对的多物体顶视图数据集； 分别在顶视的RGB图IRGB和掩码深度图 上根据物 体检测边界框进行图像裁 剪预处理构成用于训练图像迁移网络的数据集； 步骤3， 将卷积神经网络和Transformer结合， 构建基于多级注意力聚合及一致性约束 的双向域对抗迁移网络， 在所采集的非配对仿 真域和现实域的RGB ‑D数据集上进 行训练， 实 现将实物图像迁移为伪仿真图像并且迁移效果满足机器人推 ‑抓场景中的任务 一致性； 步骤4， 将解耦训练 的图像迁移模块和推 ‑抓操作协同策略的深度强化学习模型进行级 联部署， 实现机器人对现实环境中物体的乱序推散和抓取。 2.根据权利要求1所述的一种 含领域自适应的机器人乱序目标推抓方法， 其特征在于： 步骤1搭建的仿 真环境中使用的物体模 型是根据现实场景中使用的15个抓取物品制作的相 应纯色CAD模型。 3.根据权利要求1所述的一种 含领域自适应的机器人乱序目标推抓方法， 其特征在于： 步骤2中的图像裁剪预处理， 是指对于 收集到的现实域顶视图像使用目标检测模型检测出 RGB图像中所有物体， 对于收集到的仿 真域顶视图像直接使用物体掩码 框定所有物体， 然后 分别在现实域和仿真域的RGB图IRGB和掩码深度图 上， 从物体中心扩展到正方形， 以此 方法裁剪IRGB和 然后把裁剪出的图像调 整大小到112*112， 构成用于训练图像迁移网 络的数据集。 4.根据权利要求1所述的一种 含领域自适应的机器人乱序目标推抓方法， 其特征在于： 步骤3中所述的迁移网络是基于多级注意力聚合及一致性约束的双向域对抗迁移网络， 其 中生成器网络包括编码 器和解码 器结构； 编码阶段， 主要对浅层信息提取能力更强的CNN特 征和高层语义抽象能力较强的Transformer特征进 行串联编码； 解码阶段， 使用提出的多级 注意力聚合模块进行级联解码。 5.根据权利要求1所述的一种 含领域自适应的机器人乱序目标推抓方法， 其特征在于： 步骤3中所述的基于多级注意力聚合及一致性约束的双向域对抗迁移网络， 其判别器网络 基本结构为马尔可夫判别器， 通过多层连接模块将不同尺度层所隐藏的判别信息进行自适 应联合， 构造多尺度连接马尔可 夫判别器。 6.根据权利要求1所述的一种 含领域自适应的机器人乱序目标推抓方法， 其特征在于： 步骤3中所述迁移模块的目标学习损失包括对抗损失、 双向循环一致性损失、 映射一致性损 失、 任务一致性损失。 对于对抗损失， 生成器GS→T将源域中的一张图片和一个噪声向量映射到一张假图片， 判 别器DT输出所输入给定图片属于源域的可能性， 其 域对抗损失函数为： 其中， 表示从源域中采样带标签的样本组成的数据集， Ns是源域样本数权　利　要　求　书 1/2 页 2 CN 114918918 A 2量； 表示从目标域中采样无 标签的样本组成的数据集， Nt是目标域样本数量。 双向循环一 致性损失为： 映射一致性损失为： 任务一致性损失为： 其中， ks和kt分别为输入的源域样本xs和目标域样本xt中像素的个数， ms和mt是对应于 样本xs和xt的物体掩码， 是Hadamard乘积， 是L2范数的平方。 7.根据权利要求1所述的一种 含领域自适应的机器人乱序目标推抓方法， 其特征在于： 步骤1和步骤3所述的推 ‑抓操作协同策略结合的深度强化学习模型和图像迁移模型是解耦 训练的， 只在部署含领域自适应的机器人乱序目标推抓模型时才将二 者级联。权　利　要　求　书 2/2 页 3 CN 114918918 A 3