(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211045364.2 (22)申请日 2022.08.30 (71)申请人 淮阴工学院 地址 223003 江苏省淮安市经济技 术开发 区枚乘东路1号 (72)发明人 高尚兵　李少凡　张莹莹　陈浩霖　 张海艳　朱全银　李翔　胡序洋　 李杰　张秦涛　刘宇　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 柏尚春 (51)Int.Cl. G06V 20/59(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01)G06V 10/42(2022.01) G06V 10/80(2022.01) G06T 7/73(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于姿态感知与几何约束下的驾驶员行为 识别方法及系统 (57)摘要 本发明公开了一种基于姿态感知与几何约 束下的驾驶员行为识别方法及系统， 首先， 采用 HRNet对图片中的驾驶员进行姿态估计， 获取驾 驶员的关节点信息 ； 其次 ， 将视频输入到 ResNet50中获取全局特征图， 利用关节点的位置 获取各个关节点相关的视觉特征； 然后， 对驾驶 员的上半身人体 关节点进行解构， 同时根据各点 的坐标位置获取几何特征； 最后， 将视觉表观特 征与几何特征融合， 通过线性层预测相应的行 为。 本发明克服了传统驾驶员行为检测方法检测 准确率低、 检测手段单一的问题， 大幅提升了在 背景复杂、 光照变化、 视角不一和驾驶员体态变 化等情况下的检测能力； 同时能够应对复杂环境 下对驾驶员人体和关键表征的定位检测； 能适应 不同时段车辆行驶环境。 权利要求书2页 说明书5页 附图4页 CN 115457518 A 2022.12.09 CN 115457518 A 1.一种基于姿态感知与几何约束下的驾驶员行为识别方法， 其特征在于， 包括以下步 骤： (1)输入预先获取的驾驶员行车视频， 抽取首帧图片作 为数据源， 通过YOLOv5目标检测 检测到最大占比人体驾驶员的位置； 采用HRNet对图片中的驾驶员进 行姿态估计， 获取驾驶 员的关节点信息； (2)将视频输入到ResNet50中获取全局特征图， 利用关节点的位置获取各个关节点相 关的视觉特征； (3)对驾驶员的上半身人体关节点进行解构， 同时根据各点的坐标位置获取几何特 征； (4)将视觉表观特征与几何特 征融合， 通过线性层预测相应的行为。 2.根据权利要求1所述的基于姿态感知与几何约束下的驾驶员行为识别方法， 其特征 在于， 步骤(1)所述驾驶员的关节点信息包 含关节点的位置的坐标和置信度。 3.根据权利要求1所述的基于姿态感知与几何约束下的驾驶员行为识别方法， 其特征 在于， 步骤(1)所述对图片中的驾驶员进行姿态估计只考虑对驾驶员上半身12个关节点进 行姿态估计； 所述12个关节点包括颈部、 左肩、 左肘、 左手腕、 右肩、 右肘、 右手腕、 鼻子、 左 眼、 右眼、 左耳和右耳。 4.根据权利要求1所述的基于姿态感知与几何约束下的驾驶员行为识别方法， 其特征 在于， 所述 步骤(2)实现过程如下： (21)采用ResNet ‑50网络作为主干网络， 将整张图片作 为全局特征提取的输入， 使用的 ResNet‑50在ImageNet进行过预训练模型， 并对模 型进行微调， 将模 型的最后的全 连接层进 行修改以适应驾驶员行为识别任务； 整张图片经过主干网络后得到特征图F， 在其后面再添 加一个残差块结构得到全局特 征fC： fC＝(ResC(F)) (22)为了获取对应人体关键点的相关视觉特征， 利用关节点的位置获取视觉表观特 征； 具体的操作为以人体关键点为中心， 设定每个获取特征的检测框的尺寸为Wh×Hh， 具体 的大小由检测出的人体关键点的范围决定： Wh＝Hh＝ λh·max{xmax‑xmin,ymax‑ymin} 其中， λh为超参数， xmax， xmin为检测出来的人体关键点坐标最大和最小的值， 检测框区域 设为xh； (23)每个部位相关区域的特 征按以下公式进行提取： fA＝σ(wA·GAP(Resl(RoI(F,xh)))+bA) 其中， fA为单个关键点相关区域的特征， σ 为Relu激活函数,{WA,bA}为表观权重矩阵和 偏置， GAP为全局平均池化， Res为残差块， Ro I为感兴趣区域。 5.根据权利要求1所述的基于姿态感知与几何约束下的驾驶员行为识别方法， 其特征 在于， 所述 步骤(3)实现过程如下： 对驾驶员上半身人体进行解构操作， 将其分为4个区域， 分别为头部、 颈部、 左肩和右 肩； 其中头部区域以眼部为中心 点， 颈部区域以颈部为中心 点， 左肩和右肩区域分别以左肘 和右肘为中心点； 以颈 部点为中心学习更 具鲁棒的几何特 征： 计算几何特征 的过程如下， 计算相对距离向量 的方法为： [log(|xm‑xn|),权　利　要　求　书 1/2 页 2 CN 115457518 A 2log(|ym‑yn|)]， 将得出的向量进行拼接得到 xm， ym区域中各点坐标， xn， yn为各区域中心 坐标； 计算绝对姿态不变向量 的方法为[log(|xi‑x*|),log(|yi‑y*|)],xi， yi为上半身关 键点各点坐标， xn， yn为颈部坐标； 为了利用复杂的非线性空 间关系， 将这些几何特征嵌入到 高维特征， 具体表示 为： 其中， fG为空间特 征， {WG,bG}为几何权 重矩阵和偏置， CONCAT为 拼接操作。 6.根据权利要求1所述的基于姿态感知与几何约束下的驾驶员行为识别方法， 其特征 在于， 所述 步骤(4)实现过程如下： 将各组空间特征和表观视觉特征进行融合： fSR＝CONCAT[fG,fA(1),fA(2),...,fA(12)] 其中， fSR为最后融合的特征， fG为空间特征， fA(n)为各个 区域的视觉表观特征， 总共12 个区域， 依次进行拼接； 最后通过线性层预测各类的概 率分布： p＝σ(WC(fSR)+bC) 其中， p为长度为10的最终预测向量， {WC,b}为融合特 征权重矩阵和偏置 。 7.一种采用如权利要求1 ‑6任一所述方法的基于姿态感知与几何约束下的驾驶员行为 识别系统， 其特征在于， 包括驾驶员姿态估计模块、 视觉表观特征模块和几何特征模块； 所 述驾驶员姿态估计模块对驾驶员人体进行检测并获取驾驶员的关节点信息， 包含关节点坐 标位置和置信度； 所述视觉表观特征模块获取驾驶员的关节点对应的局部表征； 所述几何 特征模块对驾驶员人体进行解构， 设置各区域局部中心坐标和全局 不变中心坐标点， 并学 习驾驶员不同行为下的几何特 征。权　利　要　求　书 2/2 页 3 CN 115457518 A 3