(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211027928.X (22)申请日 2022.08.25 (71)申请人 重庆交通大 学 地址 400074 重庆市南岸区学府大道6 6号 (72)发明人 蓝章礼　杨晴晴　 (74)专利代理 机构 重庆博凯知识产权代理有限 公司 50212 专利代理师 黄河 (51)Int.Cl. G06V 20/59(2022.01) G06V 40/10(2022.01) G06V 10/40(2022.01) G06V 10/36(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01)G06V 10/80(2022.01) G06N 3/04(2006.01) G06V 10/24(2022.01) (54)发明名称 结合骨骼关键点的驾驶员操作手机行为识 别检测方法 (57)摘要 本发明涉及驾驶员行为姿态识别技术领域， 具体涉及一种结合骨骼关键点的驾驶员操作手 机行为识别检测方法， 在获取待检测的驾驶员图 像后， 框选 出整个人体区域和手部区域； 之后， 通 过整个人体区域分析驾驶员的双臂夹角角度是 否符合夹角条件， 通过手部区域识别是否存在手 机目标， 如果同时满足两个条件， 则说明符合正 在使用手机的所有条件， 因此， 可 以将驾驶员正 在使用手机的行为作为检测结果进行输出。 与现 有技术相比， 本发明提供了一种全新的技术思 路， 并且该技术思路的可靠性好、 实施 较为便利、 识别的效率也较高。 本方法可以在驾驶员的实际 驾驶过程中， 对其操作手机的行为进行准确的识 别。 权利要求书2页 说明书9页 附图2页 CN 115393829 A 2022.11.25 CN 115393829 A 1.结合骨骼关键点的驾驶员操作手机行为识别检测方法， 其特 征在于， 包括以下步骤： S1、 获取待检测的驾驶员图像， 所述驾驶员图像的内容包括驾驶员的整个人体区域和 手部区域； S2、 对驾驶员图像进行候选 框框选， 框选出整个人体区域和手部区域； S3、 通过预设的人体姿态识别模型， 对驾驶员图像的整个人体区域进行骨骼关键点检 测， 获取预设的骨骼关键点的坐标， 并根据骨骼关键点的坐标计算左右两臂的夹角角度； 通 过预设的目标检测模型， 对驾驶员图像的手部区域进行手机目标识别； 根据手部区域的手 机目标识别结果、 左右两臂的夹角角度及预设的夹角条件， 判断是否存在 使用手机的行为， 若存在则转到S4， 若不存在则返回S1； S4、 将驾驶员正在使用手机的行为作为检测结果进行输出。 2.如权利要求1所述的结合骨骼关键点的驾驶员操作手机行为识别检测方法， 其特征 在于： 所述夹角条件包括： 一手臂的夹角角度在55 °以内， 左右两臂的夹角角度均在55 °以外 但两臂夹角的角度差值大于 30°。 3.如权利要求2所述的结合骨骼关键点的驾驶员操作手机行为识别检测方法， 其特征 在于： S4中， 若驾驶员一手臂的夹角角度在55 °以内， 则将驾驶员正耳部接听电话作为检测 结果； 若左右两臂的夹角角度均在55 °以外但两臂夹角的角度差值大于30 °， 则将驾驶员正 操作手机作为检测结果。 4.如权利要求1所述的结合骨骼关键点的驾驶员操作手机行为识别检测方法， 其特征 在于： S2中， 对驾驶员图像进行候选框选定前， 还对驾驶员图像进行预处理； 所述预处理包 括图像同态滤波。 5.如权利要求1所述的结合骨骼关键点的驾驶员操作手机行为识别检测方法， 其特征 在于： 所述人体姿态 识别模型为Alphapose 人体姿态 识别模型。 6.如权利要求1所述的结合骨骼关键点的驾驶员操作手机行为识别检测方法， 其特征 在于： 所述目标检测模 型采用Yolov5模 型结构， 包括特征提取网络单元、 特征增强网络单元 和特征分类网络单 元； 特征提取网络单 元用于提取三个有效特 征层， 并分别生成对应的有效特 征图； 特征网络单元包括三个特征增强网络层， 分别接收特征提取网络的一个有效特征图； 每个特征增强网络层 包括图像尺寸缩放模块、 卷积模块、 下采样模块、 特征融合模块和上采 样模块； 图像尺寸缩放模块用于将有效特征图进行尺寸的缩放， 得到每个有效特征图对应 的一个放大尺寸的特征图像、 一个原始尺寸的特征图像和 一个缩小尺寸的特征图像， 并发 送给对应的卷积模块； 所述卷积模块用于分别对不同尺寸的特征图像进行卷积处理； 所述 下采样模块用于分别将卷积后的特征图像进 行下采样， 并将下采样的结果发送给特征融合 模块； 所述特征融合模块采用结构化特征增强模块SFEM用于 分别将每个有效特征图对应的 三个尺寸的特征图像的卷积后下采样结果进 行特征融合； 上采样模块用于 分别将每个有效 特征图对应的特 征融合结果进行 上采样， 并将上采样结果发送给 特征分类网络单 元； 特征分类网络单 元用于根据每 个有效特 征图对应的上采样结果进行目标分类识别。 7.如权利要求6所述的结合骨骼关键点的驾驶员操作手机行为识别检测方法， 其特征 在于： 所述目标检测模型的工作过程包括： 用于提取三个有效特 征层， 并分别生成对应的有效特 征图；权　利　要　求　书 1/2 页 2 CN 115393829 A 2分别对各有 效特征图进行尺寸的缩放， 得到每个有 效特征图对应的一个放大尺寸的特 征图像、 一个原始尺寸的特征图像和一个缩小尺寸的特征图像， 并分别对不同尺寸的特征 图像进行卷积处理和下采样处理， 然后 将每个有效特征图对应的三个尺寸的特征图像的卷 积后下采样结果进行 特征融合后再进行 上采样； 最后， 根据每 个有效特 征图对应的上采样结果进行目标分类识别。 8.如权利要求1所述的结合骨骼关键点的驾驶员操作手机行为识别检测方法， 其特征 在于： S3包括： S31、 通过预设的人体姿态识别模型， 驾驶员图像的人体区域进行骨骼关键点检测， 获 取预设的骨骼关键点的坐标， 并根据骨骼关键点的坐标计算左右两臂的夹角角度； 若左右 两臂的夹角 角度符合预设的夹角条件则转到S32， 否则返回S1； S32、 通过预设的目标检测模型， 对驾驶员图像的手部区域进行手机目标识别， 若检测 到手机目标则判断存在使用手机的行为并转到S4， 若未检测到手机目标则返回S1。 9.如权利要求1所述的结合骨骼关键点的驾驶员操作手机行为识别检测方法， 其特征 在于： S3包括： S31、 通过预设的目标检测模型， 对驾驶员图像的手部区域进行手机目标识别， 若检测 到手机目标则转到S32， 若未检测则返回S1； S32、 通过预设的人体姿态识别模型， 驾驶员图像的人体区域进行骨骼关键点检测， 获 取预设的骨骼关键点的坐标， 并根据骨骼关键点的坐标计算左右两臂的夹角角度； 若左右 两臂的夹角 角度符合预设的夹角条件， 则判断存在使用手机的行为并转到S4， 否则返回S1。 10.如权利要求1所述的结合骨骼关键点的驾驶员操作手机行为识别 检测方法， 其特征 在于： S3包括： S31、 通过预设的人体姿态识别模型， 驾驶员图像的人体区域进行骨骼关键点检测， 获 取预设的骨骼关键点的坐标， 并根据骨骼关键点的坐标计算左右两臂的夹角 角度； S32、 通过 预设的目标检测模型， 对驾驶员图像的手部区域进行手机目标识别； S33、 若左右两臂的夹角角度符合预设的夹角条件且检测到手机目标， 则转到S4， 否则 返回S1。权　利　要　求　书 2/2 页 3 CN 115393829 A 3