(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210959194.2 (22)申请日 2022.08.10 (71)申请人 南京信息 工程大学 地址 224002 江苏省盐城市 盐南高新区新 河街道文港南路10 5号 (72)发明人 夏旻　陈凯　翁理国　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 董建林 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/40(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种多尺度聚合的云和云阴影辨识方法、 系 统、 设备及存 储介质 (57)摘要 本发明公开了一种多尺度聚合的云和云阴 影辨识方法、 系统、 设备及存储介质， 属于图像处 理技术领域， 方法包括： 获取待测图片； 将待测图 片输入到预训练好的多尺度注意力特征聚合网 络中， 得到云和云阴影的掩膜图像， 完成云和云 阴影的辨识； 使用训练好的权重提取特征进行编 码解码操作后输出得到云和云阴影的掩膜图像， 能够有效提升云和云阴影辨识精确度， 有效减少 了图像中复杂背景和噪声的干扰， 能够有效的捕 捉到零散的小尺度的云和云影目标， 增强了对薄 云的检测能力以及细化了对云和云阴影不规则 的结合处的分割， 提高了对云和云阴影复杂的边 缘细节的分割精度， 并且在其他目标的分割实验 中也有不错的效果， 具有优秀的泛化能力和良好 的鲁棒性。 权利要求书3页 说明书11页 附图3页 CN 115410081 A 2022.11.29 CN 115410081 A 1.一种多尺度聚合的云和云阴影辨识方法， 其特 征在于， 包括： 获取待测图片； 将待测图片输入到预训练好的多尺度注意力特征聚合网络 中， 得到云和云阴影的掩膜 图像， 完成云和云阴影的辨识。 2.根据权利要求1所述的一种 多尺度聚合的云和云阴影辨识方法， 其特征在于， 所述多 尺度注意力特 征聚合网络通过以下 方法进行训练： 获取训练数据； 对训练数据中的图像进行 数据增强处 理， 然后将图像与对应的标签转 化为张量； 将所述张量输入到多尺度注意力特征聚合网络 中进行训练， 得到训练好的多尺度注意 力特征聚合网络 。 3.根据权利要求1所述的一种 多尺度聚合的云和云阴影辨识方法， 其特征在于， 所述多 尺度注意力特征聚合网络包括多尺度条状池化注意力模块， 由并行 的4条带平均池化分支 和一个自适应平均池化分支、 两条并行的条状卷积支路、 空间注意力模块、 通道注意力模块 组成， 用于提取多尺度上 下文信息和深层空间、 通道信息； 4条带平均池化分支和一个自适应平均池化分支， 用于并行提取和添加待测图片， 得到 多尺度特 征图后恢复到待测图片大小， 并在高度维度连接在一 起， 得到权重向量； 将权重向量分别输入到两条并行的条状卷积支路， 第 一条支路由卷积核1 ×7和卷积核 7×1组成， 第二条支路 由卷积核7 ×1和卷积核1 ×7组成， 第一条支路提取出特征图后将其 输入到空间注意力模块， 提取出包含空间信息第一特征图， 第二条支路提取出特征图后将 其输入到通道注意力模块， 提取出包含通道信息的第二特征图， 然后连接交互后输出最终 特征图； 所述通道注意力模块的计算过程如下： 分别用全局平均池化和全局最大池化 提取特征： 其中， x表述输入的特征图， 和 分别表示全局最大池化分支和 全局平均池化 分支输出的第二权重向量和第三权重向量， Gmax和Gavg分别表 示全局最大池化和全局平均 池化， C2D1×1表示卷积核为1 ×1的二维卷积； 对全局平均池化和全局最大池化 提取出的特征进行拼接： 其中， CAT3代表在宽度维度进行拼接， 是在宽度维度拼接后的图像； 尺寸恢复、 特 征选择、 重新加权： 其中， CA(x)表示通道注意力模块输出的第一特征图， DWC2D1×2表示卷积核为1 ×2的二 维深度可分离卷积， DWC2D1×1表示卷积核为1 ×1的二维深度 可分离卷积， σ 表示非线性激活 函数Sigmo id； 所述空间注意力模块的计算过程如下：权　利　要　求　书 1/3 页 2 CN 115410081 A 2分别用全局平均池化和全局最大池化提取特征后沿通道维度连接， 执行卷积运算， 再 经过非线性激活函数生成第二特 征图： SA(x)＝σ(C2D7×7(CAT1(MP(x),AP(x) ))) 其中， SA(x)表示空间注意力模块输出的第二特征图， C2D7×7表示卷积核为7 ×7的二维 卷积， CAT1表示在通道维度进行拼接， MP和AP分别表示 最大池化和平均池化。 4.根据权利要求1所述的一种 多尺度聚合的云和云阴影辨识方法， 其特征在于， 所述多 尺度注意力特征聚合网络包括深度多头前馈转移注意力模块， 用于促进多尺度注意力特征 聚合网络中的主干网络相 邻两层相互引导进 行特征挖掘， 融合从主干网络提取的相邻两层 的特征图信息； 先对相邻两层输出的特征图进行层归一化操作生成第一层归一化张量和第二层归一 化张量， 由第一层归一化张量产生查询向量， 由第二层 归一化张量产生键向量和值向量， 计 算过程如下： 其中， X是第一层归一化张量， Y是第二层归一化张量， Q是查询向量， K是键向量， V是值 向量， 表示计算查询向量的卷积核为1 ×1的二维卷积， 表示计算查询 向量的卷积核为3 ×3的二维深度可分离卷积， 表示计算键向量的卷积核为1 ×1的 二维卷积， 表示计算键向量的卷积核为3 ×3的二维深度可分离卷积， 表示计算值向量的卷积 核为1×1的二维卷积， 表示计算值向量的卷积 核为3× 3的二维深度可分离卷积； 重塑查询向量和键向量使它 们的点积交 互生成转置注意力图： Attention(Q′,K′,V′)＝V′·Softmax(K ′·V′/β ) P′＝C2D1×1Attention(Q′,K′,V′)+x+y 其中， x和y分别表示浅层和深层输入的特征图， P ′是输出的转置注意力特征图， Q ′,K′, V′是从原始尺寸重塑张量后获得的三个矩阵， β 是缩放参数， Attention(Q ′,K′,V′)是注意 力函数； 将转置注意力特 征图输入到前馈网络， 得到前馈特 征图： Z1＝DWC2D3×3((C2D1×1(Z)) Z2＝ δ(Z1)⊙Z1 Z′＝C2D1×1(Z2)+Z 其中， Z是由转置注意力特征图进行层归一化得到的第三层归一化张量， C2D1×1是卷积 核为1×1的二维卷积， DWC2D3×3是卷积核为3 ×3的二维深度可分离卷积， Z1是第一前馈中间 图，⊙表示点乘， δ 是Gelu非线性激活函数， Z2是第二前馈中间图， Z ′是输出的前馈特 征图。 5.根据权利要求1所述的一种 多尺度聚合的云和云阴影辨识方法， 其特征在于， 所述多 尺度注意力特 征聚合网络包括双边特 征融合模块， 包括细节分支和上 下文分支；权　利　要　求　书 2/3 页 3 CN 115410081 A 3