(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211123116.5 (22)申请日 2022.09.15 (71)申请人 湖南长城银河科技有限公司 地址 410000 湖南省长 沙市长沙高新区尖 山路39号中电软件园一期15 栋 (72)发明人 龚国辉　王永庆　邓秋连　夏一民　 (74)专利代理 机构 长沙国科天河知识产权代理 有限公司 432 25 专利代理师 段盼姣 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/52(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于图像上下文信息的天地分割线检测方 法、 装置和设备 (57)摘要 本申请涉及 图像语义分割技术领域的一种 基于图像上下文信息的天地分割线检测方法、 装 置和设备。 所述方法包括： 对获取的预处理后的 户外场景自然图像数据集进行标注， 得到训练样 本； 构建天地分割线检测模型， 该模型包括： 编码 器、 解码器以及语义监督网络； 采用训练样本对 模型进行训练， 得到训练好的天地分割线检测模 型。 采用该训练好的模型对待检测图像进行检 测， 并对天地分割线进行标记。 本方法利用编码 器中的上下文模块输出多尺度上下文信息克服 天气变化的影 响， 解码器中的语义嵌入模块缩小 了语义信与空间信息之间的鸿沟提升了预测精 度， 利用语义监督网络输出的语义边界增强了对 细小的难分样本的识别能力。 权利要求书4页 说明书12页 附图5页 CN 115471653 A 2022.12.13 CN 115471653 A 1.一种基于图像上 下文信息的天地分割线检测方法， 其特 征在于， 所述方法包括： 对获取的预处 理后的户外场景自然图像数据集进行 标注， 得到训练样本； 构建天地分割线检测模型， 所述天地分割 线检测模型包括： 编码器、 解码器以及语义监 督网络； 所述编码 器包括由VGG16网络前4个卷积模块构成的主网络， 以及上下文模块； 所述 主网络用于对训练样本采用4个卷积模块操作输出4个不同尺寸特征图； 所述上下文模块用 于采用空洞卷积、 全局平均池化以及通道注意力机制对经过第四个卷积模块操作后输出的 不同尺寸特征图进行处理， 得到多尺度上下文信息特征图； 所述语义监督网络用于采用双 线性插值方式和修正残差模块融合所有不同尺寸特征图及多尺度上下文信息特征图， 得到 语义边界特征图； 所述解码 器用于采用反卷积和语义嵌入模块融合多尺度上下文信息特征 图以及各级不同尺寸特 征图进行融合， 得到样本预测结果； 根据所述语义边界特征图、 所述训练样本的标注和将所述训练集输入到所述天地分割 线检测模型得到的样本预测结果， 对所述天地分割线检测模型进行训练， 得到训练好的天 地分割线检测模型； 将获取的待检测图像输入到训练好的天地分割 线检测模型中， 得到待检测图像预测结 果， 如果待检测图像预测结果存在天地分割线， 则对所述天地分割线 进行标记。 2.根据权利要求1所述的方法， 其特征在于， 根据所述语义边界特征图、 所述训练样本 的标注和将所述训练集输入到所述天地分割线检测模型得到的样本预测结果， 对所述天地 分割线检测模型进行训练， 得到训练好的天地分割线检测模型， 包括： 将所述训练样本 输入到所述编码器的主网络中， 得到4个不同尺寸特 征图； 将第四个卷积模块输出的所述不同尺寸特征图输入到所述编码器的上下文模块中， 得 到多尺度上 下文信息特 征图； 将所有所述不同尺寸特征图、 所述多尺度 上下文信 息特征图输入到所述语义监督网络 中， 得到语义 边界特征图； 将所有所述不同尺寸特征图、 所述多尺度上下文信息特征图输入到所述解码器中， 得 到样本预测结果； 根据所述语义边界特征图、 所述样本预测结果和所述训练样本的标注对所述天地分割 线检测模型进行反向训练， 得到训练好的天地分割线检测模型。 3.根据权利要求2所述的方法， 其特征在于， 所述主网络的4个卷积模块均包括： 卷积 层、 批归一 化以及ReLu激活函数； 将所述训练样本 输入到所述编码器的主网络中， 得到4个不同尺寸特 征图， 包括： 将所述训练样本输入到所述主网络的第一个卷积模块中进行卷积、 批归一化后， 采用 ReLu函数激活， 得到第一 不同尺寸特 征图； 将所述第一不同尺寸特征图输入到所述主网络的第 二个卷积模块中进行卷积、 批归一 化后， 采用ReLu函数激活， 得到第二 不同尺寸特 征图； 将所述第二不同尺寸特征图输入到所述主网络的第 三个卷积模块中进行卷积、 批归一 化后， 采用ReLu函数激活， 得到第三 不同尺寸特 征图； 将所述第三不同尺寸特征图输入到所述主网络的第四个卷积模块中进行卷积、 批归一 化后， 采用ReLu函数激活， 得到第四不同尺寸特 征图。 4.根据权利要求2所述的方法， 其特征在于， 所述上下文模块包括： 4个空洞卷积层、 1个权　利　要　求　书 1/4 页 2 CN 115471653 A 2全局平均池化层以及1个通道注意力机制， 其中， 四个空洞卷积层和全局平均池化层 采用空 间金字塔结构设计为平行结构， 后接通道注意力机制， 四个空洞卷积层的空洞率分别为1、 6、 12、 18； 将第四个卷积模块输出的所述不同尺寸特征图输入到所述编码器的上下文模块中， 得 到多尺度上 下文信息特 征图， 包括： 将第四个卷积模块输出的所述不同尺寸特征图分别输入到四个空洞卷积层和全局平 均池化层中， 得到 5个不同尺度的上 下文信息； 将所有不同尺度的上下文信息在通道上进行拼接融合后输入到所述通道注意力机制 中， 得到多尺度上 下文信息特 征图。 5.根据权利要求3所述的方法， 其特征在于， 所述解码器包括3个语义嵌入模块、 4个反 卷积层； 将所有所述不同尺寸特征图、 所述多尺度上下文信息特征图输入到所述解码器中， 得 到样本预测结果， 包括： 将所述多尺度上下文信息特征图与所述第四不同尺寸特征图进行空间通道叠加后输 入到第一个反卷积层中， 得到第四特 征图； 将所述第四不同尺寸特征图和所述第三不同尺度特征图输入到第一个语义嵌入模块 中， 通过对所述第四不同尺寸特征图进 行卷积操作， 并将得到的卷积特征进行双线性插值， 得到还原特征图， 并将所述还原特征图与所述第三不同尺度特征图进行逐元素相乘融合， 得到第三语义特 征图。 将所述第三语义特征图与所述第四特征图进行空间通道叠加后输入到第二个反卷积 层中， 得到第三特 征图； 将所述第三不同尺度特征图和所述第二不同尺度特征图输入到第二个语义嵌入模块 中， 得到第二语义特 征图； 将所述第二语义特征图与所述第三特征图进行空间通道叠加后输入到第三个反卷积 层中， 得到第二特 征图； 将所述第二不同尺度特征图和所述第一不同尺度特征图输入到第三个语义嵌入模块 中， 得到第一语义特 征图； 将所述第一语义特征图与所述第二特征图进行空间通道叠加后输入到第四个反卷积 层中， 得到样本预测结果。 6.根据权利要求3所述的方法， 其特 征在于， 所述语义 监督网络包括9个修 正残差模块； 将所有所述不同尺寸特征图、 所述多尺度 上下文信 息特征图输入到所述语义监督网络 中， 得到语义 边界特征图， 包括： 将所述多尺度上下文信息特征图和所述第四不同尺寸特征图分别输入到第一个修正 残差模块和第二个修正残差模块中， 并将两个修正残差模块的输出特征在空间通道叠加融 合后， 得到第四融合特 征； 将所述第四融合特征和所述第三不同尺寸特征图分别输入到第三个修正残差模块和 第四个修正残差模块中， 并将两个修正残差模块的输出特征在空间通道叠加融合后， 得到 第三融合特 征； 将所述第三融合特征和所述第二不同尺寸特征图分别输入到第五个修正残差模块和权　利　要　求　书 2/4 页 3 CN 115471653 A 3