(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211070444.3 (22)申请日 2022.09.02 (71)申请人 济宁安泰矿山设备制造有限公司 地址 272399 山东省济宁市鱼台县经济开 发区(古亭路西、 北一环路南) (72)发明人 董国庆　郑丽娟　李玉道　程一飞　 张宁宁　常猛　张帅帅　 (74)专利代理 机构 南京正联知识产权代理有限 公司 32243 专利代理师 俞晓梅 (51)Int.Cl. G06T 3/40(2006.01) G06T 7/90(2017.01) G06V 10/40(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 用于智能泵腔体内窥镜故障诊断的图像超 分辨率重建方法 (57)摘要 本发明涉及内窥镜探测技术领域， 具体地 说， 是一种用于智能泵腔体内窥镜故障诊断的 图 像超分辨率重建方法， 该方法主要包括这几部 分： 图像预处理、 图像浅层特征提取、 图像深层特 征提取、 图像重建。 本发明首先在深度卷积神经 网络种加入了注意力残差单元， 能够将将不同贡 献度信息给与不同程度的权重进行训练学习， 更 有效的利用特征信息； 其次提出了一种由多尺度 级联注意力残差模块所构成的级联残差组对特 征进行提取、 融合、 增强了网络对图像特征的表 达能力最后在网络中加入了辅助监督误差函数， 增强了梯度的反向传播， 提供了额外的正则化， 缓解了梯度消失的问题。 权利要求书3页 说明书9页 附图3页 CN 115423685 A 2022.12.02 CN 115423685 A 1.一种用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法， 其特征在于， 具体 包括以下步骤： 步骤一、 图像预处 理； 步骤二、 图像浅层特 征提取； 步骤三、 图像深层特 征提取； 步骤四、 图像重建。 2.根据权利要求1所述的用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法， 其特征在于， 所述步骤一中， 首先将训练集中的高分辨率图像进行YCbCr颜色空间转换， 然 后提取Y通道， 将得到的Y通道图像记为YH； 其颜色空间转换公式如下； YH＝Y＝0.2 99R+0.587G+0.1 14B  (1) 其中R、 G、 B代表变换前图像的通道值， Y、 Cb、 Cr为变换后图像的通道值， 将得到的Y通道 图像记为YH， 将YH图像分别按照缩放尺度为 ×2、×3、×4的因子进行下采样得到不同模糊程 度的低分辨率图像， 分别记为YL2、 YL3、 YL4； 将YL2、 YL3、 YL4不重叠裁剪为41 ×41大小的子图像 块， 分别记为YL2‑sub、 YL3‑sub、 YL4‑sub； 为了更好的利用卷积神经网络提取特征的能力， 将 YL2‑sub、 YL3‑sub、 YL4‑sub进行对应尺度因子的简单上采样， 得到的结果记为YIL2‑sub、 YIL3‑sub、 YIL4‑sub， 再将YH不重叠裁剪成与YIL2‑sub、 YIL3‑sub、 YIL4‑sub相对应的子图像块作为标签， 分别记 为YH2‑sub、 YH3‑sub、 YH4‑sub； 按照YL2‑sub‑YIL2‑sub、 YIL3‑sub‑YH3‑sub、 YIL4‑sub‑YH4‑sub相对应的图像对形 式保存， 作为卷积神经网络 输入层的数据。 3.根据权利要求2所述的用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法， 其特征在于， 所述步骤二中， 预先构造的浅层特征提取模块提取输入低分辨率图像的浅层 特征， 其中， 浅层特征提取层 采用一个卷积核 大小为3×3的卷积层。 浅层特征提取层的工作 原理可以用下式表示： F0＝HSFE(ILR)  (2) 其中， HSFE(·)表示为应用于低分辨率特征提取的卷积 运算， ILR表示低分辨率的输入图 像， F0表示通过卷积提取的浅层特 征。 4.根据权利要求3所述的用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法， 其特征在于， 所述步骤三中， 深层特征提取模块是由m个多尺度级联残差组和一个注意力残 差模块以及全局跳连接所构成， 所述级联残差组包括n个多尺度级联注意力残差模块、 n个 特征拼接单元、 n个特征压缩单元、 n个短跳跃连接和1个局部跳跃连接， 所述特征压缩单元 由一个1x1的卷积组成， 所述级联残差组的公式表达式如下： Fm,1＝HMCRAB(Fm‑1)  (3) Fm， 2＝HMCRAB(w1×1*[Fm,1,Fm‑1]+b)     (4) ……(5)权　利　要　求　书 1/3 页 2 CN 115423685 A 2Fm， n＝HMCRAB(w1×1*[Fm,n‑1,Fm,n‑2]+b)  (6) Fm＝Fm,n+Fm‑1  (7) 其中， Fm,n表示第m个级联残差组中第n个多尺度 级联注意力残差模块的输出特征， HMCRAB 表示多尺度级联注意力残 差模块的操作， Fm表示第m个级联残 差组的输 出特征， []表示特征 拼接， w1×1表示1x1卷积的权 重， b表示卷积核的偏差 。 5.根据权利要求4所述的用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法， 其特征在于， 所述多尺度级联注意力残差模块的公式表达式如下： F3×3,in1＝w1×1*Fm,n‑1+b  (8) F3,1＝HRAB,3×3(F3×3,in1)+F3×3,in1  (9) F3×3,in2＝w1×1*[F3,1,F3×3,in1]+b  (10) F3,2＝HRAB,3×3(F3×3,in2)+F3×3,in2  (11) F3×3,in3＝w1×1*[F3,2,F3,1,F3×3,in1]+b  (12) F5×5,in1＝w1×1*Fm,n‑1+b  (13) F5,1＝HRAB,5×5(F5×5,in1)+F5×5,in1  (14) F5×5,in2＝w1×1*[F5,1,F5×5,in1]+b  (15) F5,2＝HRAB,5×5(F5×5,in2)+F5×5,in2  (16) F5×5,in3＝w1×1*[F5,2,F5,1,F5×5,in1]+b  (17) Fm,n＝[F3×3,in3,F5×5,in3]+Fm,n‑1  (18) 其中， F3×3,in1、 F3×3,in2、 F3×3,in3分别表示尺度为3x3时不同阶段的输入特征， F3,1、 F3,2分 别表示尺度为3x3时的中间特征， F5×5,in1、 F5×5,in2、 F5×5,in3分别表示尺度为5x5时不同阶段的 输入特征， F5,1、 F5,2分别表示尺度为5x5时的中间特征， HRAB,3×3、 HRAB,5×5分别表示卷积核为 3x3和5x5的注 意力残差单元， Fm， n表 示第m个级 联残差组中第n个多尺度级 联注意力残差模 块的输出特征， [ ]表示特征拼接， w1 ×1表示1x1卷积的权重， b表示卷积核的偏差， 每个多 尺度残差注意力模块包 含4个注意力残差单 元和6个短跳跃 连接。 6.根据权利要求5所述的用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法， 其特征在于， 两种注意力机制均采用了平均池化与最大池化相结合的方式， 所述注意力残 差单元的公式表达式如下： y＝ τ(HCA(wk×k*x+b)  (19) Fr＝HSA(wk×k*y+b)  (20) 其中， x、 y分别表示输入特征与输出特征， τ表示非线性激活函数ReLU， wk×k表示kxk卷积 的权重， HCA表示通道注意力单 元， HSA表示通道注意力单 元。 7.根据权利要求6所述的用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法， 其特征在于， 各注意力单 元的公式表达式如下： HCA＝σ(HFC( τ(HFC(PAvg(x)+PMax(x)))*x  (21) HSA＝σ(w7×7*([PAvg(x),PMax(x)]+b)*x   (22) 其中， σ表示非线性激活函数Sigmoid， w7×7为7x7卷积的权重， PAvg表示平均池化操作， PMax表示最大池化操作， HFC表示全连接层。 8.根据权利要求7所述的用于智能泵腔体内窥镜故障诊断的图像超分辨率重建方法， 其特征在于， 浅层特征通过m个由多尺度级联注意力残差模块组成的级联残差组和全局跳权　利　要　求　书 2/3 页 3 CN 115423685 A 3