(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211020464.X (22)申请日 2022.08.24 (71)申请人 华中科技大 学 地址 430074 湖北省武汉市洪山区珞喻路 1037号 (72)发明人 王植炜　李强　梁愿怀　吕进鑫　 (74)专利代理 机构 华中科技大 学专利中心 42201 专利代理师 李晓飞 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/11(2017.01) G06T 3/40(2006.01) G06V 10/25(2022.01) G06V 10/52(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G16H 50/20(2018.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于回归脊椎弯曲方向评估脊柱侧弯角度 的方法及系统 (57)摘要 本发明公开了一种基于回归脊椎弯曲方向 评估脊柱侧弯角度的方法及系统， 属于脊柱侧弯 评估领域。 方法包括： 提取X射线影像中的脊柱掩 码， 将所述脊柱掩码与所述X射线影像拼接后输 入所述脊椎检测 网络得到所述k个脊椎的k个包 围盒； 在所述脊椎检测网络三个尺度的输出特征 图上裁剪 出所述k个包围盒对应的三个尺度的脊 椎特征块； 在所述X射线影像上裁剪出所述k个包 围盒对应的k个脊椎块； 将脊椎块输入脊椎回归 网络中融合脊椎检测网络的特征和脊椎方向回 归的特征， 输出每个脊椎块上终板和下终板的方 向， 将每个脊椎块的上终板和下终板方向拼接 后， 得到整条脊柱的弯曲方向， 并计算Cobb角。 本 发明能够减 轻脊椎方向回归的难度， 提升Cobb角 计算的准确度。 权利要求书2页 说明书10页 附图5页 CN 115439538 A 2022.12.06 CN 115439538 A 1.一种基于回归脊椎弯曲方向评估脊柱侧弯角度的方法， 其特 征在于， 包括： 提取X射线影像中的脊柱掩码， X射线影 像中包含k个脊椎， k≥1； 搭建脊椎检测网络， 将所述脊柱掩码与所述X射线影像拼接后输入所述脊椎检测网络 得到所述k个脊椎的k个包围盒； 在所述脊椎检测网络三个尺度的输出特征图上裁剪出所述 k个包围盒对应的三个尺度的脊椎 特征块Fp＝{fp1,fp2,fp3}； 在所述X射线影 像上裁剪出所述k个包围盒对应的k个脊椎块 Ip； 搭建脊椎回归网络， 提取所述k个脊椎块Ip的特征， 得到第一特征图freg1， 将第一特征图 freg1与脊椎特征块fp1逐元素相加后提取特征， 得到第二特征图freg2， 将第二特征图freg2与脊 椎特征块fp2逐元素相加后提取特征， 得到第三特征图freg3， 将第三特征图freg3与脊椎特征 块fp3逐元素相加后提取特征， 得到融合后的特征图fp_reg， 将融合后的特征图fp_reg输入全连 接层， 输出k个脊椎块上终板和下终板的方向； 将k个脊椎块的上终板和下终板方向拼接后， 得到整条脊柱的弯曲方向， 并计算Cobb 角。 2.根据权利要求1所述的方法， 其特征在于， 还包括步骤： 在所述k个包围盒中筛选出包 含完整脊椎的包围盒， 具体包括如下子步骤： 步骤S11、 计算第i个包围盒与k个标注包围盒的交并比IOU， 得到第i个包围盒的k个交 并比的集 合IOUs， 其中， 1≤i≤k； 步骤S12、 取集合IOUs中最大的交并比IOUmax与设定的阈值It比较大小， 若IOUmax≥It， 则 第i个包围盒为包 含完整脊椎的包围盒， 记为 否则， 舍弃第i个包围盒； 步骤S13、 重复步骤S11及步骤S12， 得到m个筛选出的包含完整脊椎的包围盒 其中， 为包围盒对角的两个顶 点坐标， 1≤m≤k。 3.根据权利要求2所述的方法， 其特 征在于， 所述标注包围盒通过如下步骤获得： 在k个包围盒中选择能够完全 包围住对应脊椎四个角点的最小包围盒； 将所述最小包围盒扩大设定的倍数， 得到标注包围盒。 4.根据权利 要求3所述的方法， 其特征在于， 通过具有噪声扰动机制的ROIAlign裁剪模 块在所述脊椎检测网络三个尺度的输出特征图上裁剪出所述k个包围盒对应的三个尺度的 脊椎特征块Fp以及在所述X射线影 像上裁剪出所述k个包围盒对应的k个脊椎块 Ip； 将所述m个筛选出的包含完整脊椎的包围盒添加高斯噪声后， 得到包围盒为 其中， ni＝[xni1,yni1,xni2,yni2]； 以所述包围盒为BN*、 所述X射线影像及所述脊椎检测网络三个尺度的输 出特征图Floc＝ {floc1,floc2,floc3}为ROIAlign的输入， 通过 ROIAlign裁减， 在所述脊椎检测网络三个尺度的 输出特征图上裁剪出所述m个包围盒对应的三个尺度的脊椎特征块Fp＝{fp1,fp2,fp3}， 在所 述X射线影 像上裁剪出所述m个包围盒对应的m个脊椎块 Ip。 5.根据权利要求 4所述的方法， 其特 征在于， 提取 X射线影像中的脊柱掩码的过程包括： 搭建脊柱分割网络， 所述脊柱分割网络以Resnet50和Efficientnet ‑b2作为特征提取 主干网络； 将X射线影像分别输入两个特征提取主干网络进行特征提取， 得到两种相同尺度的特权　利　要　求　书 1/2 页 2 CN 115439538 A 2征图， 将两种相同尺度的特 征图按通道拼接后， 进行 卷积得到融合后的特 征图； 将融合后的特征图经过空间金字塔池化后， 再通过上采样操作进行特征还原， 输出脊 柱掩码。 6.根据权利要求1所述的方法， 其特 征在于， 将k个脊椎块的方向拼接， 包括： 将每个脊椎块的上终板和下终板方向求和， 得到每 个脊椎块的最终方向 向量； 根据k个包围盒对应的脊椎的中心点， 将整条脊柱分为上胸弯、 胸弯和腰弯三节段； 针对每一节段， 两两比较该节段内脊椎块的最终方向向量间夹角的大小， 确定该节段 内最大的夹角为该节段的Cob b角。 7.根据权利要求5所述的方法， 其特征在于， 所述脊椎检测网络采用Yolov5s卷积神经 网络； 所述脊椎回归网络采用Ef ficientnet ‑b1卷积神经网络 。 8.根据权利要求6所述的方法， 其特征在于， 提取X射线影像中的脊柱掩码的过程之前， 还包括对所述 脊柱分割网络进行训练， 所述训练过程包括： 将数据集输入脊柱分割网络得到X射线影像 中的脊柱掩码， 其中， 所述数据集为多张包 含k个脊椎的X射线影 像， 标签为 脊椎的四个角点。 9.根据权利要求8所述的方法， 其特征在于， 还包括对所述脊椎回归网络进行训练， 在 训练过程中包括： 计算标注的脊椎方向与经过全连接层输出的脊椎块上终板和下终板方向的损失并反 向调节脊椎回归网络的参数， 持续训练直至损失收敛至预期范围内， 结束训练； 其中， 所述标注的脊椎 方向通过如下步骤获得： 计算标注包围盒与对应的X射线影 像筛选出的包 含完整脊椎的包围盒的交并比； 选择交并比最大的包 含完整脊椎的包围盒作为 最大包围盒； 计算所述 最大包围盒对应的脊椎的上终板方向和下终板方向； 归一化所述上终板方向和下终板方向作为标注的脊椎 方向。 10.一种基于回归脊椎弯曲方向评估脊柱侧弯角度的系统， 其特 征在于， 包括： 脊柱分割网络， 用于提取 X射线影像中的脊柱掩码， X射线影 像中包含k个脊椎， k≥1； 拼接模块， 用于将所述 脊柱掩码与所述X射线影 像拼接， 得到拼接后的图像； 脊椎检测网络， 用于以所述拼接后的图像为输入， 输出所述k个脊椎的k个包围盒； 并在 三个尺度的输出特征图上裁剪出所述k个包围盒对应的三个尺度的脊椎特征块Fp＝{fp1, fp2,fp3}； 脊椎块生成模块， 用于在所述X射线影 像上裁剪出所述k个包围盒对应的k个脊椎块 Ip； 脊椎回归网络， 用于提取所述k个脊椎块Ip的特征， 得到第一特征图freg1， 将第一特征图 freg1与脊椎特征块fp1逐元素相加后提取特征， 得到第二特征图freg2， 将第二特征图freg2与脊 椎特征块fp2逐元素相加后提取特征， 得到第三特征图freg3， 将第三特征图freg3与脊椎特征 块fp3逐元素相加后提取特征， 得到融合后的特征图fp_reg， 将融合后的特征图fp_reg输入全连 接层， 输出k个脊椎块上终板和下终板的方向； Cobb角计算模块， 用于将k个脊椎块的上终板和下终板方向拼接后， 得到整条脊柱的弯 曲方向， 并计算Cob b角。权　利　要　求　书 2/2 页 3 CN 115439538 A 3