(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221096983 0.X (22)申请日 2022.08.12 (71)申请人 北京字跳网络技 术有限公司 地址 100190 北京市海淀区紫金 数码园4号 楼2层0207 (72)发明人 张耿祥　 (74)专利代理 机构 北京远智汇知识产权代理有 限公司 1 1659 专利代理师 刘茜阳 (51)Int.Cl. G06T 7/269(2017.01) G06V 10/54(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06N 5/00(2006.01) (54)发明名称 屏幕共享方法、 装置、 设备及存 储介质 (57)摘要 本公开实施例提供了屏幕共享方法、 装置、 设备及存储介质。 该方法包括： 在屏幕共享应用 模式下， 根据捕获的在前屏幕图像帧及当前屏幕 图像帧， 确定当前执行时刻的当前光流图像； 在 至少一个特征维度下对当前光流图像进行特征 提取， 确定相应特征维度的特征信息； 根据各特 征信息， 结合在前执行时刻确定的在前状态值， 确定屏幕共享在当前执行时刻所共享内容的内 容类型。 利用该方法， 能够通过在前屏幕图像帧 和当前屏幕图像帧确定当前执行时刻 的光流图 像， 进一步基于光流图像的特征信息， 确定共享 内容的内容类型， 实现了共享内容的内容类型的 自动检出， 计算量小， 不需要大量样本数据， 且对 应用条件要求不高， 适用性强， 提升了检测准确 率。 权利要求书3页 说明书19页 附图4页 CN 115294178 A 2022.11.04 CN 115294178 A 1.一种屏幕 共享方法， 其特 征在于， 包括： 在屏幕共享应用模式下， 根据捕获的在前屏幕图像帧及当前屏幕图像帧， 确定当前执 行时刻的当前光 流图像； 在至少一个特征维度 下对所述当前光流图像进行特征提取， 确定相应特征维度的特征 信息； 根据各所述特征信息， 结合在前执行时刻确定的在前状态值， 确定屏幕共享在当前执 行时刻所共享内容的内容类型。 2.根据权利要求1所述的方法， 其特征在于， 所述根据捕 获的在前屏幕图像帧及 当前屏 幕图像帧， 确定当前 执行时刻的当前光 流图像， 包括： 获取在前 执行时刻捕获的在前屏幕图像帧， 并捕获当前 执行时刻的当前屏幕图像帧； 对所述在前屏幕图像帧及 当前屏幕图像帧进行图像压缩， 获得在前压缩图像帧和当前 压缩图像帧； 对所述在前压缩图像帧和当前压缩图像帧进行光流计算， 获得当前执行时刻的当前光 流图像。 3.根据权利要求1所述的方法， 其特征在于， 所述特征维度包括： 运动角度、 运动幅度以 及图像纹 理； 所述在至少一个特征维度下对所述当前光流图像进行特征分析， 确定相应特征维度的 特征信息， 包括： 对所述当前光流图进行极坐标转换， 获得所述当前光流图的运动幅度图以及运动角度 图； 在所述运动角度维度下， 通过所述运动角度图进行运动角度特征提取， 获得所述当前 光流图像的角度特 征信息； 在所述运动幅度维度下， 通过所述运动幅度图进行运动幅度特征提取， 获得所述当前 光流图像的幅度特 征信息； 在所述图像纹理维度下， 通过在前屏幕图像帧进行图像纹理特征提取， 获得所述当前 光流图像的纹 理特征信息； 根据所述运动幅度图结合所述角度 特征信息以及纹理特征信 息， 确定所述当前光流图 像的融合特 征信息。 4.根据权利要求3所述的方法， 其特征在于， 所述通过所述运动角度图进行运动角度 特 征提取， 获得 所述当前光 流图像的角度特 征信息， 包括： 获取所述运动角度图中各像素点的第一像素值； 根据各所述第一像素值， 确定所述 运动角度图的运动角度均值以及运动角度离 散度； 将所述运动角度均值及所述 运动角度离 散度作为所述当前光 流图像的角度特 征信息。 5.根据权利要求3所述的方法， 其特征在于， 所述通过所述运动幅度图进行运动幅度 特 征提取， 获得 所述当前光 流图像的幅度特 征信息， 包括： 获取所述运动幅度图中各像素点的第二像素值； 根据各所述第二像素值， 确定所述运动幅度图的运动幅度均值、 运动幅度方差以及运 动幅度大于阈值的像素占比； 将运动幅度均值、 运动幅度方差以及运动幅度大于阈值的像素占比记为所述当前光流权　利　要　求　书 1/3 页 2 CN 115294178 A 2图像的幅度特 征信息。 6.根据权利要求3所述的方法， 其特征在于， 所述通过在前屏幕图像帧进行图像纹理特 征提取， 获得 所述当前光 流图像的纹 理特征信息， 包括： 将所述在前屏幕图像帧压缩成与所述当前光 流图像大小相同的在前压缩图像； 将所述在前压缩图像进行区块划分， 获得多个区块图像； 根据各所述区块图像中像素点在 设定图像通道下的通道值， 确定所述当前光流图像的 纹理特征信息。 7.根据权利要求6所述的方法， 其特征在于， 所述根据各所述区块图像中像素点在 设定 图像通道下的通道值， 确定所述当前光 流图像的纹 理特征信息， 包括： 针对每个区块图像， 获取所述区块图像中像素点在设定 图像通道下的通道值， 并构建 与所述区块图像大小相同的初始二维矩阵； 统计所述 区块图像中所具备通道值的类别数量， 将所述类别数量作为所述初始二维矩 阵中各元素的元素值， 构成目标二维矩阵； 按照各所述区块图像的划分位置， 对各所述目标二维矩阵进行拼接处理， 将拼接后的 二维矩阵作为所述当前光 流图像的纹 理特征信息。 8.根据权利要求3所述的方法， 其特征在于， 所述根据所述运动幅度图结合所述角度 特 征信息以及纹 理特征信息， 确定所述当前光 流图像的融合特 征信息， 包括： 根据所述 运动幅度图中像素点的像素值， 确定像素权 重矩阵； 根据所述像素权重矩阵结合所述角度 特征信息， 确定所述当前光流图像的幅度角度融 合特征信息； 根据所述像素权重矩阵结合所述纹理特征信 息， 确定所述当前光流图像的幅度纹理融 合特征信息； 将所述幅度角度融合特征信息及幅度纹理融合特征信息作为所述当前光流图像的融 合特征信息。 9.根据权利要求8所述的方法， 其特征在于， 所述根据所述像素权重矩阵结合所述角度 特征信息， 确定所述当前光 流图像的幅度角度融合特 征信息， 包括： 获取所述角度特 征信息中的运动角度均值和运动角度离 散度； 根据所述像素权重矩阵及所述运动角度均值和所述运动角度离散度， 确定所述当前光 流图像的幅度角度融合特 征信息。 10.根据权利要求8所述的方法， 其特征在于， 所述根据所述像素权重矩阵结合所述纹 理特征信息， 确定所述当前光 流图像的幅度纹 理融合特 征信息， 包括： 将所述纹 理特征信息中的纹 理特征矩阵与所述像素权 重矩阵相乘； 根据相乘后得到的矩阵确定所述当前光 流图像的幅度纹 理融合特 征信息。 11.根据权利要求1所述的方法， 其特征在于， 所述根据各所述特征信 息， 结合在前执行 时刻确定的在前状态值， 确定屏幕 共享在当前 执行时刻所共享内容的内容类型， 包括： 将各所述特征信息输入预先构建的类别决策树模型， 获得输出的决策类别结果； 根据所述决策类别结果及在前执行时刻确定的在前状态值， 确定所述当前执行时刻对 应的当前类别概 率值； 根据所述当前类别概率值， 更新所述在前状态值， 获得所述当前执行时刻的当前状态权　利　要　求　书 2/3 页 3 CN 115294178 A 3