(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211068017.1 (22)申请日 2022.09.01 (71)申请人 北京达佳互联信息技 术有限公司 地址 100085 北京市海淀区上地西路6号1 幢1层101D1-7 (72)发明人 徐慎昆　王仲远　宿华　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 李加欣 (51)Int.Cl. G06T 13/40(2011.01) G06T 17/20(2006.01) G06V 40/16(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 表情数据生成方法、 装置、 电子设备及存储 介质 (57)摘要 本公开是关于一种表情数据生成方法、 装 置、 电子设备及存储介质， 属于计算机技术领域。 方法包括： 确定多个第一网格顶 点的顶点数据和 多个第二网格顶点的顶点数据； 基于多个第一网 格顶点的顶 点数据进行图卷积， 得到多个第一顶 点特征， 基于多个第二网格顶 点的顶点数据进行 图卷积， 得到多个第二顶点特征； 基于多个第一 顶点特征和多个第二顶点特征， 检测多个第一网 格顶点中的第一关键点和多个第二网格顶点中 的第二关键点； 基于第一关键点的顶 点数据以及 第二关键点的顶点数据， 对多个第二网格顶点中 的非关键点的顶点数据进行调整， 将调整后的多 个第二网格顶 点的顶点数据构成表情数据。 本公 开提供的表情数据生成方法， 操作简单方便， 且 准确性较高。 权利要求书6页 说明书34页 附图11页 CN 115239860 A 2022.10.25 CN 115239860 A 1.一种表情数据生成方法， 其特 征在于， 所述方法包括： 确定多个第 一网格顶点的顶点数据和多个第 二网格顶点的顶点数据， 所述多个第 一网 格顶点是基于 真实面部对应的三 维面部网格得到的， 所述多个第二网格顶点是基于三维虚 拟模型得到的； 基于所述多个第 一网格顶点的顶点数据进行图卷积， 得到所述多个第 一网格顶点的第 一顶点特征， 基于所述多个第二网格顶点的顶点数据进行图卷积， 得到所述多个第二网格 顶点的第二顶点特 征； 基于所述多个第一网格顶点的第一顶点特征和所述多个第二网格顶点的第二顶点特 征， 检测所述多个第一网格顶点中的第一关键点和所述多个第二网格顶点中的第二关键 点， 其中一个所述第一关键点与一个所述第二关键点对应； 基于所述第 一关键点的顶点数据以及所述第 二关键点的顶点数据， 对所述多个第 二网 格顶点中的非关键点的顶点数据进行调整， 将所述多个第二网格顶点的顶点数据构成所述 三维虚拟模型的表情数据， 以使 所述表情数据所指示的表情与所述三维面部网格的表情匹 配， 所述非关键点是指所述多个第二网格顶点中除了所述第二关键点之外的网格顶点。 2.根据权利要求1所述的表情数据生成方法， 其特征在于， 所述基于所述多个第 一网格 顶点的顶点数据进行图卷积， 得到所述多个第一网格顶点的第一顶点特 征， 包括： 基于所述多个第 一网格顶点的顶点数据和前序顶点数据进行图卷积， 得到所述多个第 一网格顶点的所述第一顶点特 征； 其中， 所述第 一网格顶点的前序顶点数据为所述第 一网格顶点在 当前的三维面部网格 的前序三 维面部网格中的顶点数据， 所述前序三 维面部网格是指位于 当前的三维面部网格 之前的目标 数量帧的三维面部网格。 3.根据权利要求2所述的表情数据生成方法， 其特征在于， 所述基于所述多个第 一网格 顶点的顶点数据和前序顶点数据进行图卷积， 得到所述多个第一网格顶点的所述第一顶点 特征， 包括： 基于所述多个第 一网格顶点的顶点数据和前序顶点数据融合得到的数据， 分别提取所 述多个第一网格顶点的时序特 征； 基于所述多个第 一网格顶点的时序 特征进行图卷积， 得到所述多个第 一网格顶点的所 述第一顶点特 征。 4.根据权利要求3所述的表情数据生成方法， 其特征在于， 所述基于所述多个第 一网格 顶点的时序特 征进行图卷积， 得到所述多个第一网格顶点的所述第一顶点特 征， 包括： 对所述多个第 一网格顶点的时序特征进行图卷积， 得到所述多个第 一网格顶点的时空 特征； 基于所述多个第 一网格顶点的时空特征和前序时空特征融合得到的特征， 提取所述多 个第一网格顶点的所述第一顶点特征， 所述第一网格顶点的前序时空特征为所述第一网格 顶点在当前的三维面部网格的前序三维面部网格中的时空特 征。 5.根据权利要求3所述的表情数据生成方法， 其特征在于， 所述第 一网格顶点的顶点数 据和前序顶点数据均包括m个类型的子数据， m为正整数； 所述基于所述多个第一网格顶点 的顶点数据和前序顶点数据融合得到的数据， 分别提取所述多个第一网格顶点的时序特 征， 包括：权　利　要　求　书 1/6 页 2 CN 115239860 A 2对所述第一网格顶点的顶点数据和前序顶点数据融合得到的数据进行卷积， 得到卷积 特征， 所述卷积特 征包括2*m个 类型的子特 征； 将前m个类型的子特 征作为权 重， 对后m个 类型的子特 征进行加权， 得到所述时序特 征。 6.根据权利要求1所述的表情数据生成方法， 其特征在于， 所述基于所述多个第 一网格 顶点的顶点数据进行图卷积， 得到所述多个第一网格顶点的第一顶点特 征， 包括： 将所述第一网格顶点的顶点数据和多个第 一一阶邻 接顶点的顶点数据进行融合， 得到 一阶融合数据， 基于所述一 阶融合数据提取所述第一网格顶点的一阶顶点特征， 所述第一 一阶邻接顶点是指与所述第一网格顶点 直接相连的网格顶点； 将所述第一网格顶点的一阶顶点特征和多个第一二阶邻接顶点的一阶顶点特征进行 融合， 得到二阶融合数据， 基于所述二阶融合数据提取所述第一网格顶点的二阶顶点特征， 直至当前得到的顶点特征对应的阶数达到目标阶数， 将当前得到的顶点特征确定为所述第 一顶点特征， 所述第一二阶邻接顶点是指除了所述第一网格顶点之外的与所述第一一阶邻 接顶点直接相连的网格顶点。 7.根据权利要求1所述的表情数据生成方法， 其特征在于， 所述基于所述多个第 一网格 顶点的第一顶点特征和所述多个第二网格顶点的第二顶点特征， 检测所述多个第一网格顶 点中的第一关键点和所述多个第二网格顶点中的第二关键点， 包括： 基于所述多个第一网格顶点的第一顶点特征和所述多个第二网格顶点的第二顶点特 征， 分别确定所述多个第一网格顶点和所述多个第二网格顶 点属于k种预设关键点的概率， k为正整数； 基于所述多个第一网格顶点和所述多个第二网格顶点属于所述k种预设关键点的概 率， 从所述多个第一网格顶点中确定k个第一关键点， 以及从所述多个第二网格顶点中确定 k个第二关键点， 其中， 属于同一种预设 关键点的所述第一关键点和所述第二关键点对应。 8.根据权利要求7所述的表情数据生成方法， 其特征在于， 所述基于所述多个第 一网格 顶点的第一顶点特征和所述多个第二网格顶点的第二顶点特征， 分别确定所述多个第一网 格顶点和所述多个第二网格顶点属于k种预设 关键点的概 率， 包括： 对所述第一网格顶点的第 一顶点特征和多个第 一邻接顶点的第 一顶点特征进行编码， 得到所述第一网格顶 点的编码特征， 对所述第一网格顶点的编 码特征和所述多个第一邻接 顶点的编 码特征进 行解码， 得到所述第一网格顶 点属于所述k种预设关键点的概率， 所述第 一邻接顶点是指与所述第一网格顶点 直接或间接相连的网格顶点； 对所述第二网格顶点的第 二顶点特征和多个第 二邻接顶点的第 二顶点特征进行编码， 得到所述第二网格顶 点的编码特征， 对所述第二网格顶点的编 码特征和所述多个第二邻接 顶点的编 码特征进 行解码， 得到所述第二网格顶 点属于所述k种预设关键点的概率， 所述第 二邻接顶点是指与所述第二网格顶点 直接或间接相连的网格顶点。 9.根据权利要求7所述的表情数据生成方法， 其特征在于， 所述基于所述多个第 一网格 顶点和所述多个第二网格顶点属于所述k种 预设关键点的概率， 从所述多个第一网格顶点 中确定k个第一关键点， 以及从所述多个第二网格顶点中确定k个第二关键点， 包括： 以所述多个第一网格顶点的第i个概率为权重， 对所述多个第一网格顶点的坐标进行 加权平均， 将所得到的坐标对应的网格顶点确定为第i个第一关键点， i为不大于k的正整 数；权　利　要　求　书 2/6 页 3 CN 115239860 A 3