(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210926488.5 (22)申请日 2022.08.03 (71)申请人 天津港联盟国际集装箱码头有限公 司 地址 300461 天津市滨 海新区塘沽区临海 路1068号 (72)发明人 方胜　陈东辉　孙立　王勇　付佳　 梅建奎　王晓磊　 (74)专利代理 机构 天津市三利专利商标代理有 限公司 12107 专利代理师 韩新城 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06V 10/22(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于视觉的双箱吊具中锁状态检测方法 (57)摘要 本发明公开一种基于视觉的双箱吊具中锁 状态检测方法， 包括： 在双箱吊具上对应的中锁 位置安装四个微型工业摄像头， 通过所述微型工 业摄像头采集箱孔图像， 利用视觉分析技术判断 集装箱孔的状态， 从而实现判断中锁的状态。 本 发明由摄像机采集箱孔图像， 使用视觉技术进行 识别判断出箱孔状态， 进而间接的判断中锁的状 态， 快速准确且方便设备的自动化 运行。 权利要求书2页 说明书4页 附图3页 CN 115393629 A 2022.11.25 CN 115393629 A 1.基于视觉的双箱吊具中锁状态检测方法， 其特 征在于， 包括以下步骤： 在双箱吊具上对应的中锁位置安装四个微型工业摄像头， 通过所述微型工业摄像头采 集箱孔图像， 利用视 觉分析技 术判断集装箱孔的状态， 从而实现判断中锁的状态。 2.根据权利要求1所述基于视觉的双箱吊具中锁状态检测方法， 其特征在于， 自动抓箱 时， 系统检测到着箱信号后， 通过四个摄像头对中锁下方的集装箱箱 孔进行抓拍， 调用视觉 算法检测是否存在箱 孔； 通过视觉算法检测不到箱 孔， 认为吊具中锁在集装箱 孔里， 属于正 常， 否则属于异常； 自动放箱时， 系统检测到着箱信号后， 放箱开锁提起预定高度， 通过四个摄像头对中锁 下方的集装箱箱 孔进行抓拍， 调用视觉算法检测是否存在箱 孔； 当检测到全部箱 孔， 认为吊 具中锁正常脱离集装箱， 属于正常， 否则异常。 3.根据权利要求2所述基于视觉的双箱吊具中锁状态检测方法， 其特征在于， 所述视觉 算法采用RefineDet 网络模型， RefineDet网络模型采用两个同步串联模块， 包括锚点改进 模块ARM、 转换连接模块TCB、 目标检测 模块ODM， 所述转换连接模块TCB， 具有特征融合的功 能， 用于转换锚点改进模块ARM中的特征并将其传递给目标检测模块OD M； 锚点改进模块ARM 的特征层,对密集的anchor进行粗筛选， 对anchor进行背景与目标的二分类， 对anchor进行 回归调整位置， 以获取预定的anchor初始状态,传送到目标检测模块ODM的特征层中去进 行 进一步的精细处理； 通过 目标检测模块ODM在多个特征层上检测,最后将结果汇聚到一起, 得到最终检测结果。 4.根据权利要求3所述基于视觉的双箱吊具中锁状态检测方法， 其特征在于， 锚点改进 模块ARM输出的特征图经过两个卷积层， 得到了低层特征图； 转换连接模块TCB通过反卷积 操作实现上采样， 将前一个转换连接模块TCB输出的较高层的特征图的尺寸扩大， 使其与较 低层的特征图一致， 随后 将两个特征图相加， 实现特征融合； 融合之后的特征图经过一个卷 积层完成最终的转换， 并被送入目标检测模块ODM进行检测。 5.根据权利要求4所述基于视觉的双箱吊具中锁状态检测方法， 其特征在于， 其中， 定 位和分类损失函数采用如下： 式中， 为前景/背景 的二分类损失， 是对 象与非对 象两个类的交叉熵/对数损失， 为前景多分类的损失， 是多类置信度的softmax损失， 为定位回归损失， 采用平 滑L1损失； 式中， i是锚的索引； 是锚的ground  truth类别标签； 是锚的ground  truth位置和 大小； pi和xi是锚作为对象的预测置信度和锚框在锚点改进模块ARM中的细化坐标； ci和ti 是目标检测模块ODM中边界框的预测对象类别和坐标； Narm和Nadm分别是锚点改进模块ARM和 目标检测模块ODM中正样本锚框的数量； Iverson括号指示函数 当条件为真时权　利　要　求　书 1/2 页 2 CN 115393629 A 2输出1， 否则为0 。 6.根据权利要求5所述基于视觉的双箱吊具中锁状态检测方法， 其特征在于， 检测步骤 如下： 码头现场拍摄带有集装箱的图片或视频； 从拍摄的图片或视频中， 使用dlib自带的imgl ab标注工具， 对要标注的数据创建xml文 件； 将标注好的数据进行分配， 分为训练数据和测试数据,或是分为训练数据， 验证数据和 测试数据； 或是验证数据和 测试数据； 将训练数据中xml格式的数据转换成yolov3训练用的数据格式， 包括三个文本文件和 二个目录： 三个文本文件是训练文本文件train.txt， 用于保存训练图片目录列表； 测试文 本文件test.txt， 用于保存测试图片目录列表； 分类名称文本文件class.names， 用于保存 分类名称； 二个目录是目录Labels， 用于保存每个图片的边界框和分类信息； 图片目录 JPEGImages， 保存所有的图片； 对箱孔定位模型进行训练， 训练完成后， 通过训练好的箱孔定位模型， 用于完成作业 时 对锁头的实时定位， 用于带箱 集卡的引导， 从集卡或者箱区抓取箱子和提供叠放箱的放置， 以实现上 下两层箱的对齐在误差范围内。权　利　要　求　书 2/2 页 3 CN 115393629 A 3